本文目录一览:
- 1、Curl命令详解
- 2、curl命令详解是什么?
- 3、百度站长主动推送的curl怎么调用?
- 4、curl的用法
- 5、java 怎么调用curl,java 怎么调用curl-CSDN问答
- 6、求CURL获取JAVASCRIPT生成动态内容的方法 - 技术问答
Curl命令详解
-#, --progress-bar
显示进度条
-b, --cookie name=data
使用cookie。如果没有 = , 则表示cookie文件路径 (参考 -c )
-c, --cookie-jar file name
response的cookie保存路径
-d, --data data
POST请求数据
-f, --fail
忽略错误信息 (不显示返回的HTML错误信息)
-F, --form name=content
表单数据
-H, --header header
设置请求Header
-i, --include
输出请求Header信息
-I, --head
只显示Header信息
-k, --insecure
允许不安全链接
-L, --location
Follow redirects.
-o, --output file
输出信息保存到指定文件中。可与 --create-dirs 一起使用,自动创建文件路径
-O, --remote-name
输出信息写到文件中,文件名同服务器端的文件名 (只能写入到当前目录)
-s, --silent
静默模式。与 -S 一起用,强制输出errors信息
-v, --verbose
显示更多信息(用于调试).
-w, --write-out format
请求结果后追加内容。例如, -w "\n" 可以在输出结果后追加一个换行符。可以把 -w "\n" 添加到 ~/.curlrc 文件中,这样每次执行结果后都自动追加换行符(默认curl返回内容最后缺少换行符,显示不友好)
-X, --request
请求方法类型,POST、GET、PUT等
使用 POST 或 PUT 请求时, 可用 Content-Type 指定两种数据格式:
curl默认为表单格式。如果使用json格式,需要手动设置header。
对于 POST 和 PUT 请求, 以下是通用参数:
application/x-www-form-urlencoded 为默认值:
等效于:
也可以使用数据文件:
或使用数据文件:
curl命令详解是什么?
在Linux中curl是一个利用URL标准在cmd下工作中的文件传送工具,能够算是一款很强悍的httpcmd工具。它支持文档的发送和下载,是综合性传送工具,但按传统式,习惯性称Curl为下载工具。
1、curl指令是一个网络工具,其关键功能是根据http、ftp等方法下载文档,也可以文件上传,作为一个功能齐全的网络工具,curl指令与此同时支持HTTPS等诸多协议书,还支持POSTcookies验证从特定偏位处下载一部分文档,客户代理商字符串数组、速度限制、图片大小、时间轴等特点。
2、CURL是一个利用URL英语的语法在cmd下工作中的文件传送工具,1997年初次发售。它支持上传文件和下载,因此是综合性传送工具,但按传统式,习惯性称CURL为下载工具。
3、CURL还涵盖了用以软件开发的libcurl。cURL支持的通讯协议有FTP、FTPS、HTTP、HTTPS、TFTP、SFTP、Gopher、SCP、Telnet、DICT、FILE、LDAP、LDAPS、IMAP、POP3、SMTP和RTSP。
百度站长主动推送的curl怎么调用?
对应平台下载安装curl包
将网站地址写入urls.txt文件(utf-8编码),注意不要超过配额,可以先写一条测试。
使用命令行切换到txt所在文件夹下,使用下面命令
curl -H 'Content-Type:text/plain' --data-binary @urls.txt ';token=edk7yc4rEZP9pDQD'
自己的token所在页面
返回结果
{"remain":49,"success":1}
日剩余量49,成功一条。
curl的用法
curl是一个利用URL语法在命令行方式下工作的文件传输工具。本文介绍了它的简单用法。
*******************************************************************************************************************************************************
curl是一个利用URL语法在命令行方式下工作的文件传输工具。
它支持很多协议:FTP, FTPS, HTTP, HTTPS, GOPHER, TELNET, DICT, FILE 以及 LDAP。
curl同样支持HTTPS认证,HTTP POST方法, HTTP PUT方法, FTP上传, kerberos认证, HTTP上传, 代理服务器, cookies, 用户名/密码认证, 下载文件断点续传, 上载文件断点续传, http代理服务器管道( proxy tunneling), 甚至它还支持IPv6, socks5代理服务器, 通过http代理服务器上传文件到FTP服务器等等,功能十分强大。
Windows操作系统下的网络蚂蚁,网际快车(FlashGet)的功能它都可以做到。准确的说,curl支持文件的上传和下载,所以是一个综合传输工具,但是按照传统,用户习惯称curl为下载工具。
curl是瑞典curl组织开发的,您可以访问:
获取它的源代码和相关说明。
鉴于curl在Linux上的广泛使用,IBM在AIX Linux Toolbox的光盘中包含了这个软件,并且您可以访问IBM网站:
- 1.ibm.com/servers/aix/products/aixos/linux/altlic.html 下载它。
curl的最新版本是 7.10.8,IBM网站上提供的版本为7.9.3。
在AIX下的安装很简单,IBM网站上下载的rpm格式的包。
在 ,您可以下载到UNIX格式的man帮助,里面有详细的curl工具的使用说明。
curl的用法为:curl [options] [URL...]
其中options是下载需要的参数,大约有80多个,curl的各个功能完全是依靠这些参数完成的。
具体参数的使用,用户可以参考curl的man帮助。
下面,本文就将结合具体的例子来说明怎样利用curl进行下载。
1、获得一张页面
使用命令:curl
这是最简单的使用方法。用这个命令获得了指向的页面,同样,如果这里的URL指向的是一个文件或者一幅图都可以直接下载到本地。如果下载的是HTML文档,那么缺省的将不显示文件头部,即HTML文档的header。要全部显示,请加参数 -i,要只显示头部,用参数 -I。任何时候,可以使用 -v 命令看curl是怎样工作的,它向服务器发送的所有命令都会显示出来。为了断点续传,可以使用-r参数来指定传输范围。
2、表单(Form)的获取
在WEB页面设计中,form是很重要的元素。Form通常用来收集并向网站提交信息。提交信息的方法有两种,GET方法和POST方法。先讨论GET方法,例如在页面中有这样一段:
form method="GET" action="junk.cgi"
input type=text name="birthyear"
input type=submit name=press value="OK"
/form
那么浏览器上会出现一个文本框和一个标为“OK”的按钮。按下这个按钮,表单就用GET方法向服务器提交文本框的数据。
例如原始页面是在 看到的,然后您在文本框中输入1905,然后按OK按钮,那么浏览器的URL现在应该是:“;;press=OK”
对于这种网页,curl可以直接处理,例如想获取上面的网页,只要输入:
curl ";;press=OK"
就可以了。
表单用来提交信息的第二种方法叫做POST方法,POST方法和GET方法的区别在于GET方法使用的时候,浏览器中会产生目标URL,而POST不会。类似GET,这里有一个网页:
form method="POST" action="junk.cgi"
input type=text name="birthyear"
input type=submit name=press value="OK"
/form
浏览器上也会出现一个文本框和一个标为“OK”的按钮。按下这个按钮,表单用POST方法向服务器提交数据。
这时的URL是看不到的,因此需要使用特殊的方法来抓取这个页面:
curl -d "birthyear=1905press=OK"
这个命令就可以做到。
1995年年末,RFC 1867定义了一种新的POST方法,用来上传文件。主要用于把本地文件上传到服务器。此时页面是这样写的:
form method="POST" enctype='multipart/form-data' action="upload.cgi"
input type=file name=upload
input type=submit name=press value="OK"
/form
对于这种页面,curl的用法不同:
curl -F upload=@localfilename -F press=OK URL
这个命令的实质是将本地的文件用POST上传到服务器。
有关POST还有不少用法,用户可以自己摸索。
3、使用PUT方法。
HTTP协议文件上传的标准方法是使用PUT,此时curl命令使用-T参数:
curl -T uploadfile
4、有关认证。
curl可以处理各种情况的认证页面,例如下载用户名/密码认证方式的页面(在IE中通常是出现一个输入用户名和密码的输入框):
curl -u name:password
如果网络是通过http代理服务器出去的,而代理服务器需要用户名和密码,那么输入:
curl -U proxyuser:proxypassword
任何需要输入用户名和密码的时候,只在参数中指定用户名而空着密码,curl可以交互式的让用户输入密码。
5、引用。
有些网络资源访问的时候必须经过另外一个网络地址跳转过去,这用术语来说是:referer,引用。
对于这种地址的资源,curl也可以下载:
curl -e daniel.haxx.se
6、指定用户客户端。
有些网络资源首先需要判断用户使用的是什么浏览器,符合标准了才能够下载或者浏览。
此时curl可以把自己“伪装”成任何其他浏览器:
curl -A "Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)" URL
这个指令表示curl伪装成了IE5.0,用户平台是Windows 2000。(对方服务器是根据这个字串来判断客户端的类型的,所以即使使用AIX也无所谓)。
使用:
curl -A "Mozilla/4.73 [en] (X11; U; Linux 2.2.15 i686)" URL
此时curl变成了Netscape,运行在PIII平台的Linux上了。
7、COOKIES
Cookie是服务器经常使用的一种记忆客户信息的方法。如果cookie被记录在了文件中,那么使用命令:
curl -b stored_cookies_in_file
curl可以根据旧的cookie写出新cookie并发送到网站:
curl -b cookies.txt -c newcookies.txt
8、加密的HTTP——HTTPS。
如果是通过OpenSSL加密的https协议传输的网页,curl可以直接访问:
curl
9、http认证。
如果是采用证书认证的http地址,证书在本地,那么curl这样使用:
curl -E mycert.pem
参考读物和注意事项:
curl非常博大,用户要想使用好这个工具,除了详细学习参数之外,还需要深刻理解http的各种协议与URL的各个语法。
这里推荐几个读物:
RFC 2616 HTTP协议语法的定义。
RFC 2396 URL语法的定义。
RFC 2109 Cookie是怎样工作的。
RFC 1867 HTTP如何POST,以及POST的格式。
文字
curl是免费软件,IBM公司对curl不提供技术支持。
curl官方网站:
java 怎么调用curl,java 怎么调用curl-CSDN问答
java 怎么调用curl,java 怎么调用curl-CSDN问答
java中使用curl命令上传文件的使用方式如下:
curl -F "filename=@/home/test/file.tar.gz"
如果使用了-F参数,curl就会以 multipart/form-data 的方式发送POST请求。-F
求CURL获取JAVASCRIPT生成动态内容的方法 - 技术问答
非常感谢各位的回答!但是小弟实在是无法从HTTP请求中得到什么有用的东西.而且,,你们不觉得当我用CURL登录的时候,我必须有一个东西去获取那些HTTP请求吗?暂时我只是在使用firebug,当然我也试用了你们说的那些扩展.可是还是无法实现!因为看起来那些根本就没有别的HTML请求!