本文目录一览：
- 1、curl -u username:password命令请求url，怎么转换成http进行网络请求呢？
- 2、如何利用cURL和python对服务端和web端进行接口测试
- 3、怎么把这个 curl 命令用 python requests 搞定
- 4、怎么判断curl调用接口返回成功：响应码
curl -u username:password命令请求url，怎么转换成http进行网络请求呢？
最近在工作中遇到一个问题，文档中用curl表示请求网络，比如curl -u abc:123 ，以为后面的abc:123就是一默认的参数，多次尝试请求都失败了，就花了一点时间研究了一下，
我以HttpUrlConnection为例子，比如 curl -u username:password “：
1.创建HttpUrlConnection对象：
String surl = ";metrics=quality_summaryday=2017-10-1";
URL realUrl = new URL(surl);
//你的用户名和密码
//此处就是curl -u user:password 转换成http请求的格式
String name = "your username";
String password = "your password";
String authString = name + ":" + password;
System.out.println("auth string: " + authString);
//Base64编码
byte[] authEncBytes = Base64.encodeBase64(authString.getBytes("utf-8"));
String authStringEnc = new String(authEncBytes);
//Authorization格式，注意“Basic ” 有个空格
conn.setRequestProperty("Authorization", "Basic " + authStringEnc);
// 发送POST请求必须设置如下两行
conn.setDoOutput(true);
conn.setDoInput(true);
conn.connect();
if (conn.getResponseCode() == 200){
// 获取URLConnection对象对应的输出流
System.out.println("网络请求成功！");
//开始获取数据
BufferedInputStream bis = new BufferedInputStream(conn.getInputStream());
ByteArrayOutputStream bos = new ByteArrayOutputStream();
int len;
byte[] arr = new byte[1024];
while((len=bis.read(arr))!= -1){
bos.write(arr,0,len);
bos.flush();
}
bos.close();
return bos.toString("utf-8");
} else {
System.out.println("网络请求失败，响应码是"+conn.getResponseCode()+",message是"+conn.getResponseMessage()+"DETAILS:");
}
} catch (UnsupportedEncodingException e1) {
e1.printStackTrace();
} catch (MalformedURLException e1) {
e1.printStackTrace();
} catch (IOException e1) {
e1.printStackTrace();
} catch (Exception e) {
System.out.println("发送 POST 请求出现异常！"+e);
e.printStackTrace();
}
//使用finally块来关闭输出流、输入流
finally{
try{
if(out!=null){
out.close();
}
if(in!=null){
in.close();
}
}
catch(IOException ex){
ex.printStackTrace();
}
}
return result;
}
如何利用cURL和python对服务端和web端进行接口测试
工具描述
cURL是利用URL语法在命令行方式下工作的文件传输工具，是开源爱好者编写维护的免费工具，支持包括Windows、Linux、Mac等数十个操作系统，最新版本为7.27.0，但是我推荐大家使用7.26.0，从这里可以下载7.26.0版本。
以下是官方介绍的翻译： cURL是一个使用URL语法来传输数据的命令行工具，支持DICT，FILE，FTP，FTPS，GOPHER，HTTP，HTTPS，IMAP，IMAPS，LDAP，LDAPS，POP3，POP3S，RTMP，RTSP，SCP，SFTP，SMTP，SMTPS，Telnet和TFTP。 cURL支持SSL证书，HTTP POST，HTTP PUT，FTP上传，HTTP基础表单上传，代理，cookies，用户+密码身份验证（Basic, Digest, NTLM, Negotiate, kerberos...），恢复文件传输，隧道代理等等。
Python是一种面向对象、直译式计算机程序设计语言，由Guido van Rossum于1989年底发明，它的强大和易用就无需多做说明了，在web开发中或者对开发速度要求较高的开发中应用十分广，不过因为属于脚本类语言，它的性能始终比不上C++、C等语言。
本文主要利用实例说明这两款工具的在测试中的部分用途，更多用法留待大家继续探索。
应用场景
使用cURL模拟客户端对服务端进行查询
在进行接口测试时，应该先找开发人员提供接口列表和对应参数，这样测试的时候就可以验证测试方法是否正确，不过如果可以用浏览器模拟操作的话，也可以自己先试试的，后面的例子会提到。
首先使用客户端访问需要测试的服务端接口，用wireshark抓包结果如下：
把查询字符串以multipart方式post数据到服务器的file_health_info.php接口。
Tips：
Windows版的cURL不像Linux或者Mac一样属于系统自带工具，需要下载，如果要在命令提示符下使用就需要跳转到工具所在目录下才能运行，十分麻烦，我们可以直接把这个工具文件放到Windows目录下，这样无论在哪个目录都可以直接使用“curl”命令运行工具了。
cURL默认就是以post方式发送数据的，所以只需要加入multipart方式就可以了，-F在cURL帮助中的解释是：
-F, --form CONTENT Specify HTTP multipart POST data (H)
--form-string STRING Specify HTTP multipart POST data (H)
--ftp-account DATA Account data string (F)
--ftp-alternative-to-user COMMAND String to replace "USER [name]" (F)
--ftp-create-dirs Create the remote dirs if not present (F)
--ftp-method [MULTICWD/NOCWD/SINGLECWD] Control CWD usage (F)
--ftp-pasv Use PASV/EPSV instead of PORT (F)
Specify HTTP multipart POST data正好满足我们的要求，所以模拟的语句是：
curl -F "newmd5=3bcad21af5f17c1fbff419137297c942###25016566###d:\test.exe###1###" file_health_info.php
后面的都是参数，测试前就要找开发确认好。
不过因为服务端支持以gzip方式返回数据，所以我们还可以在请求中加入—compressed参数，即是：
curl --compressed -F "newmd5=3bcad21af5f17c1fbff419137297c942###25016566###d:\test.exe###1###"file_health_info.php
为了更好判断服务端接口是否正常，除了对返回数据进行判断外，我们还需要对服务端返回的数据包头进行解析，所以还可以在cURL请求中加入-i参数，最终这个测试语句就变为：
curl –i --compressed -F "newmd5=3bcad21af5f17c1fbff419137297c942###25016566###d:\test.exe###1###"file_health_info.php
模拟完成后就要考虑判断返回值的事了，我们首先在命令提示符下运行这个语句，看看返回值。
运行以上命令后，返回的数据如下：
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
HTTP/1.1 100 Continue
HTTP/1.1 200 OK
Date: Fri, 24 Aug 2012 07:47:45 GMT
Content-Type: application/xml
Transfer-Encoding: chunked
Connection: keep-alive
Server: 360 web server
Content-Encoding: gzip
?xml version="1.0" encoding="GBK" ?
ret
retinfo code="0" msg="Operation success" total="1" success="1" empty="0"
cost="999.92752075195"/
softs
soft
md53bcad21af5f17c1fbff419137297c942/md5
sha1/sha1
level4040/level
e_level40.3/e_level
size/size
soft_name![CDATA[]] /soft_name
describ![CDATA[]]/describ
file_desc![CDATA[]]/file_desc
upload0/upload
attr_upload2/attr_upload
class![CDATA[private]]/class
malware![CDATA[cloud.virus]]/malware
is_sys_file0/is_sys_file
is_rep0/is_rep
age0/age
pop0/pop
/soft
/softs
/ret
数据包包头是常见的，一般来说，我们只要判断包头中含有“HTTP/1.1 200 OK”就可以确定服务端正常返回了数据。另外从内容可以看到这是一个xml格式的数据包，我们只需要判断是否存在关键的字段即可，比如level，确定这些之后我们就可以在python中添加如下案例代码了：
首先运行指定的curl命令：
response = os.popen('''curl -i --compressed -F "newmd5=3bcad21af5f17c1fbff419137297c942###25016566###d:\test.exe###1###"
然后判断返回值中是否存在我们想要的字段：
self.assertNotEqual(response.find('HTTP/1.1 200 OK'),-1)
self.assertNotEqual(response.find('level'),-1)
上面的内容看起来差不多可以了，但实际还不够严谨，因为服务端返回的这些数据是从数据库中获取的，所以我们还需要查询数据库获取指定值，判断是否和数据包中的一致，比如level：
首先使用python登录数据库服务器：
conn = MySQLdb.connect(host='172.22.54.31', user='user',passwd='test321',db='cloud')
cursor = conn.cursor()
count = cursor.execute('SELECT plevel FROM file where md5="3bcad21af5f17c1fbff419137297c942"')
result = cursor.fetchone()
然后判断返回值中的level是否数据库中的值：
self.assertNotEqual(response.find('''level%s/level'''%result[0]),-1)
测试时除了使用cURL等工具进行模拟，还可以自己用python或其他语言写代码进行post数据，不过当时简单起见所以就选择了用cURL测试。
使用cURL模拟控制台登录
说到模拟登录或者模拟点击，很多同学可能直接联想到QTP等模拟界面操作的工具，事实上这种工具有一个很大的弊端是太依赖控件，如果界面控件变了，那么可能整个脚本就无效了，现在的程序设计都倾向界面逻辑分离，这样修改界面时就不会动到底下的功能接口，开发人员可以随时修改界面控件，如果还是采取QTP等模拟点击的方法测试，结果可能是事倍功半的，如果测试时直接点用接口就可以避免这种问题。
下面的例子是模拟控制台登录的，登录URL为：
index.php?r=site/login ，首先使用浏览器登录一次，看看实际效果如何。
Tips：
测试php或其他web程序时建议使用chrome，因为它自带的Developer Tools十分好用，当然firefox或者IE9也有类似的工具，看个人习惯吧。按F12打开工具，选择Network标签页，然后输入用户名、密码点击登录，这时Network下方会显示登录过程中浏览器想控制台请求的所有数据，包括请求类型、表单数据等，这些是我们模拟操作的数据来源。
从上图可以获取几个重点信息：请求URL、请求类型、数据类型、数据内容、并且支持gzip压缩等。我们用curl模拟如下：
curl -i --compressed cloud/index.php?r=site/login -d “username=admin” -d “userpass=admin”
使用-i和—compressed的原因再上一个例子已经说了，这里不再赘述，重点是后面的-d，它在官方帮助的解释是：
-d, --data DATA HTTP POST data (H)
--data-ascii DATA HTTP POST ASCII data (H)
--data-binary DATA HTTP POST binary data (H)
--data-urlencode DATA HTTP POST data url encoded (H)
--delegation STRING GSS-API delegation permission
--digest Use HTTP Digest Authentication (H)
--disable-eprt Inhibit using EPRT or LPRT (F)
--disable-epsv Inhibit using EPSV (F)
而我们从Developer Tools返回的数据已经知道，返回数据的格式是
“application/x-www-form-urlencoded”，所以很明显需要使用-d的HTTP POST data url encoded特性。不过格式中还有关键字form，莫非也支持-F参数登录，试试：
curl -i --compressed cloud/index.php?r=site/login -F “username=admin” -F “userpass=admin”，果然成功，呵呵～
也许有同学有疑问，为何不模拟warnsetup、refer，这是因为测试时发现登录界面只需要用户名和密码就够了，refer 用于记录来源网页，在这里用处不大，warnsetup只是用于验证登录码的，这个已经去掉了。
接下来要验证数据，我们在命令提示符中运行上面的命令，返回结果如下：
1
2
3
4
5
6
7
8
9
10
11
12
13
HTTP/1.1 302 Moved Temporarily
Date: Fri, 24 Aug 2012 08:29:07 GMT
Content-Type: text/html
Transfer-Encoding: chunked
Connection: keep-alive
X-Powered-By: PHP/5.4.3
Set-Cookie: PHPSESSID=4711d2365de9aaaca0c28b1ca52183f0; path=/
Expires: Thu, 19 Nov 1981 08:52:00 GMT
Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0
Pragma: no-cache
Set-Cookie: PHPSESSID=81d4bb65e888c1b6347120641eb4798b; path=/
Location: ./index.php
Server: 360 web server
很奇怪吧，乍一看控制台没有返回任何有用信息，不过里面那句HTTP/1.1 302 Moved Temporarily是不是特别眼熟？这个特殊的302（表示http重定向）正是我们在Developer Tools看到的状态值，看到这个已经可以80%确定我们登录已经成功了，更重要的是返回包中的内容：Location: ./index.php，这说明控制台已经通知请求端跳转到index.php，如果登录失败控制台会继续停留在当前登录界面的，我们只需要修改curl语句中的用户名或者密码就知道了，这种情况下返回包就是登录界面的php源码，这里不再赘述。
使用cURL以get方式测试控制台搜索接口
测试方法同上面差不多，首先使用chrome打开控制台进入对应页面，在搜索框中输入“test.exe”，点击搜索，使用developer tools抓包，内容如下：
cURL模拟get方式发送数据的参数是-G，了解这个后面要模拟就很简单了：
curl -i --compressed -G “cloud/index.php?r=file_cloud/api/searchfilename=59c7dd2eafdbe86b2e23bcdabb575448bg=0lm=19 ”
其中每个参数的含义要分别了解：filename表示输入的关键字，bg表示数据库第一行，lm表示共显示19行数据。这个接口返回的数据如下：
{"rows":[{"level":"10","plevel":"10","id":"20","md5":"59c7dd2eafdbe86b2e23bcdabb575448","soft_name":"","soft_desc":"","file_desc":"QVBJIFRyYWNpbmcgWDg2IEhvb2sgRW5naW5l","is_sys_file":"127","size":"41984","is_rep":"0","file_name":"apihex86.d
ll","file_version":"6.1.7600.16385","product_version":"6.1.7600.16385","copyright":"\u00a9 Microsoft Corporation. All rights reserved.","lang":"0","org_name":"YXBpaGV4ODYuZGxs","sign_name":"TWljcm9zb2Z0IFdpbmRvd3M=","company_name":"Microsof
t Corporation","update_time":"2012-07-31 18:14:27","create_time":"2012-07-31 18:14:27","creator_mid":"15be5b7dce003cdc2c1d1448afcf6cf0"}],"count":"1"}
分别是文件属性和文件信息，这涉及到两个数据库表，所以验证数据需要用python从两张表中获取对应信息。
从第一张表获取文件属性，比如只获取plevel：
SELECT plevel FROM `file` where md5="59c7dd2eafdbe86b2e23bcdabb575448"
从第二张表获取文件信息，比如只获取company_name：
SELECT company_name FROM file_info where md5="59c7dd2eafdbe86b2e23bcdabb575448"
Python代码如下：
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
conn = MySQLdb.connect(host='%s'% self.host, user='user',passwd='test321',db='cloud')
cursor = conn.cursor()
count = cursor.execute('SELECT plevel FROM `file` where md5="111111932490c813bf5ea9d8aa6fa60c"')
result = cursor.fetchone()
self.assertNotEqual(response.find(str(result[0])),-1)
count = cursor.execute('SELECT company_name FROM file_info where md5="111111932490c813bf5ea9d8aa6fa60c"')
result1 = cursor.fetchone()
self.assertNotEqual(response.find(result1[0]),-1)
当然严谨的测试案例是每一个属性字段都需要进行查找和匹配，这里就不再赘述了。
后记：这种接口测试用到的无非就是curl、python的unitest而已，可能有的人会疑问，为什么用curl而不用py自带的pycurl或者request之类，我觉得只要能满足需求，能够用现成的就用现成的，怎么简单怎么来。搞一堆代码维护起来也麻烦啊，现在qa行业跳槽也比较频繁，万一换了个人看不懂你的代码怎么办？呵呵
怎么把这个 curl 命令用 python requests 搞定
打开命令提示符 Python34换成你的python所在目录 cd C:\Python34\Scriptspip install requests
怎么判断curl调用接口返回成功：响应码
背景：最近高可用测试，双机倒换后，需要统计多久倒换结束了。我的方法是通过业务来测试，客户端和服务端都能正常访问了，对外提供服务的能力肯定就提供了。
因为不知道什么时候倒换开始和结束，需要每一秒都发curl请求，然后统计每次调用接口的时间和响应结果，并根据响应结果写入文件，方便统计和分析测试结果。
我选择简单的shell脚本，上手快。Python的话需要环境上安装相应软件，请求的响应更容易处理更便于处理。本文选择shell，curl来发请求。
1) #! /bin/bash
# 指脚本使用/bin/bash来解释执行，#!是对脚本的解释器程序路径。标记为#!/bin/sh的脚本不应使用任何POSIX没有规定的特性 (如let等命令, 但#!/bin/bash可以)。
2) while循环的格式
while expression
do
command
command
```
done
或while [条件判断式]
do
程序
done
举例：计数器控制的while循环
#!/bin/bash
int=1
while [ $int=5 ]
do
echo $int
let "int++"
done
3) if判断
if [ 条件判断一 ] (||) [ 条件判断二 ]; then
elif [ 条件判断三 ] (||) [ 条件判断四 ]; then
else
执行第三段内容程式
fi
4) curl
curl -I -s --connect-timeout 5 -m 5 -w "%{http_code}" -o /dev/null
200
-I/--head 仅返回消息头部，使用HEAD请求
-s/--slient 减少输出的信息，比如进度
--connect-timeout seconds 指定尝试连接的最大时长
-m/--max-time seconds 指定处理的最大时长
-w "参数" 自定义curl的输出
-o/--output file 指定输出文件名称
#!/bin/bash
#根据测试背景填写连接超时时长，单位秒
ct=5
#根据测试背景填写响应最大时长，单位秒
rm=5
#根据测试背景填写URL
uri=""
i=1
while [ $i=36000 ]
do
echo `date` === $i === get-baidu.log
let i++
resp=`curl -I -s --connect-timeout $ct -m $rm -w "%{http_code}" -o /dev/null $url`
if [ $resp==200 ]; then
echo `date` == $i ==$resp get-baidu.log
else
echo `date` == $i ==$resp get-baidu.log
echo `date` == $i ==$resp get-baidu-fail.log
fi
done
找个和待测试环境网络可达的Linux环境，修改相关信息，直接运行即可。
注意uri是get请求，如果是post需要修改curl。
如果需要token认证则根据待测系统的实现进行携带token ， 修改curl命令即可。
如果需要ssl证书，则携带相应证书，修改curl命令即可。
如果是ipv6的URL，curl中带上-6 -g参数。
计算响应时长(本例子是双机倒换时长)日志查看，从 get-baidu-fail.log找到失败点，在总的日志中找到相应记录，进行计算即可。
