本文目录一览：
- 1、python模拟登录知乎，captcha是手工输入，为什么也提示captcha错了
- 2、如何利用Python做简单的验证码识别
- 3、django-simple-captcha安装到了什么位置
- 4、如何用Python+人工识别处理知乎的倒立汉字验证码
python模拟登录知乎，captcha是手工输入，为什么也提示captcha错了
具体是卡在这里：
1是为了图方便，下载图片用了urllib.urlretrieve， 可是cookie时绑定到urllib2上的，所以获取cookie失败
2是发现登录知乎必须对login/email接口提交两次，第一次提交即使captcha对了也不行，必须两次，太坑了
3就算是登录成功了，再去拉主页，还是提示没登录，原来get 主页也要设置headers，不然还是说没登录上
修改如下:
#!/usr/bin/python
import urllib
import urllib2
import cookielib
import re
import time
hosturl = ''
posturl = ''
captcha_pre = ''
#set cookie
cj = cookielib.CookieJar()
cookie_support = urllib2.HTTPCookieProcessor(cj)
opener = urllib2.build_opener(cookie_support, urllib2.HTTPHandler)
urllib2.install_opener(opener)
#get xsrf
h = urllib2.urlopen(hosturl)
html = h.read()
xsrf_str = r'input type="hidden" name="_xsrf" value="(.*?)"/'
xsrf = re.findall(xsrf_str, html)[0]
print xsrf
#get captcha
def get_captcha():
captchaurl = captcha_pre + str(int(time.time() * 1000))
print captchaurl
data = urllib2.urlopen(captchaurl).read()
f = file('captcha.jpg',"wb")
f.write(data)
f.close()
captcha = raw_input('captcha is: ')
print captcha
return captcha
#post data
def post_data(captcha,xsrf):
headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:14.0) Gecko/20100101 Firefox/14.0.1',
'Referer' : 'http:'}
postData = {'_xsrf' : xsrf,
'password' : 'yyy',
'captcha' : captcha,
'email' : 'xxx',
'remember_me' : 'true',
}
#request
postData = urllib.urlencode(postData)
print postData
request = urllib2.Request(posturl, postData, headers)
response = urllib2.urlopen(request)
text = response.read()
return text
#post it
captcha=get_captcha()
print captcha
text=post_data(captcha,xsrf)
print text
#post again
captcha=get_captcha()
text=post_data(captcha,xsrf)
print text
headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:14.0) Gecko/20100101 Firefox/14.0.1',
'Referer' : 'http:'}
request = urllib2.Request(url='', headers=headers)
response = urllib2.urlopen(request)
print response.read()
如何利用Python做简单的验证码识别
1 摘要
验证码是目前互联网上非常常见也是非常重要的一个事物，充当着很多系统的 防火墙 功能，但是随时OCR技术的发展，验证码暴露出来的安全问题也越来越严峻。本文介绍了一套字符验证码识别的完整流程，对于验证码安全和OCR识别技术都有一定的借鉴意义。
然后经过了一年的时间，笔者又研究和get到了一种更强大的基于CNN卷积神经网络的直接端到端的验证识别技术（文章不是我的，然后我把源码整理了下，介绍和源码在这里面）：
基于python语言的tensorflow的‘端到端’的字符型验证码识别源码整理(github源码分享)
2 关键词
关键词：安全,字符图片,验证码识别,OCR,Python,SVM,PIL
3 免责声明
本文研究所用素材来自于某旧Web框架的网站 完全对外公开 的公共图片资源。
本文只做了该网站对外公开的公共图片资源进行了爬取， 并未越权 做任何多余操作。
本文在书写相关报告的时候已经 隐去 漏洞网站的身份信息。
本文作者 已经通知 网站相关人员此系统漏洞，并积极向新系统转移。
本报告的主要目的也仅是用于 OCR交流学习 和引起大家对 验证安全的警觉 。
4 引言
关于验证码的非技术部分的介绍，可以参考以前写的一篇科普类的文章：
互联网安全防火墙（1）--网络验证码的科普
里面对验证码的种类，使用场景，作用，主要的识别技术等等进行了讲解，然而并没有涉及到任何技术内容。本章内容则作为它的 技术补充 来给出相应的识别的解决方案，让读者对验证码的功能及安全性问题有更深刻的认识。
5 基本工具
要达到本文的目的，只需要简单的编程知识即可，因为现在的机器学习领域的蓬勃发展，已经有很多封装好的开源解决方案来进行机器学习。普通程序员已经不需要了解复杂的数学原理，即可以实现对这些工具的应用了。
主要开发环境：
python3.5
python SDK版本
PIL
图片处理库
libsvm
开源的svm机器学习库
关于环境的安装，不是本文的重点，故略去。
6 基本流程
一般情况下，对于字符型验证码的识别流程如下：
准备原始图片素材
图片预处理
图片字符切割
图片尺寸归一化
图片字符标记
字符图片特征提取
生成特征和标记对应的训练数据集
训练特征标记数据生成识别模型
使用识别模型预测新的未知图片集
达到根据“图片”就能返回识别正确的字符集的目标
7 素材准备
7.1 素材选择
由于本文是以初级的学习研究目的为主，要求 “有代表性，但又不会太难” ，所以就直接在网上找个比较有代表性的简单的字符型验证码（感觉像在找漏洞一样）。
最后在一个比较旧的网站（估计是几十年前的网站框架）找到了这个验证码图片。
原始图：
放大清晰图：
此图片能满足要求，仔细观察其具有如下特点。
有利识别的特点 ：
由纯阿拉伯数字组成
字数为4位
字符排列有规律
字体是用的统一字体
以上就是本文所说的此验证码简单的重要原因，后续代码实现中会用到
不利识别的特点 ：
图片背景有干扰噪点
这虽然是不利特点，但是这个干扰门槛太低，只需要简单的方法就可以除去
7.2 素材获取
由于在做训练的时候，需要大量的素材，所以不可能用手工的方式一张张在浏览器中保存，故建议写个自动化下载的程序。
主要步骤如下：
通过浏览器的抓包功能获取随机图片验证码生成接口
批量请求接口以获取图片
将图片保存到本地磁盘目录中
这些都是一些IT基本技能，本文就不再详细展开了。
关于网络请求和文件保存的代码，如下：
def downloads_pic(**kwargs):
pic_name = kwargs.get('pic_name', None)
url = 'httand_code_captcha/'
res = requests.get(url, stream=True)
with open(pic_path + pic_name+'.bmp', 'wb') as f: for chunk in res.iter_content(chunk_size=1024): if chunk: # filter out keep-alive new chunks f.write(chunk)
f.flush()
f.close()
循环执行N次，即可保存N张验证素材了。
下面是收集的几十张素材库保存到本地文件的效果图：
8 图片预处理
虽然目前的机器学习算法已经相当先进了，但是为了减少后面训练时的复杂度，同时增加识别率，很有必要对图片进行预处理，使其对机器识别更友好。
针对以上原始素材的处理步骤如下：
读取原始图片素材
将彩色图片二值化为黑白图片
去除背景噪点
8.1 二值化图片
主要步骤如下：
将RGB彩图转为灰度图
将灰度图按照设定阈值转化为二值图
image = Image.open(img_path)
imgry = image.convert('L') # 转化为灰度图table = get_bin_table()
out = imgry.point(table, '1')
上面引用到的二值函数的定义如下：
1234567891011121314 def get_bin_table(threshold=140): """ 获取灰度转二值的映射table :param threshold: :return: """ table = [] for i in range(256): if i threshold: table.append(0) else: table.append(1) return table
由PIL转化后变成二值图片:0表示黑色,1表示白色。二值化后带噪点的 6937 的像素点输出后如下图：
1111000111111000111111100001111100000011
1110111011110111011111011110111100110111
1001110011110111101011011010101101110111
1101111111110110101111110101111111101111
1101000111110111001111110011111111101111
1100111011111000001111111001011111011111
1101110001111111101011010110111111011111
1101111011111111101111011110111111011111
1101111011110111001111011110111111011100
1110000111111000011101100001110111011111
如果你是近视眼，然后离屏幕远一点，可以隐约看到 6937 的骨架了。
8.2 去除噪点
在转化为二值图片后，就需要清除噪点。本文选择的素材比较简单，大部分噪点也是最简单的那种 孤立点，所以可以通过检测这些孤立点就能移除大量的噪点。
关于如何去除更复杂的噪点甚至干扰线和色块，有比较成熟的算法: 洪水填充法 Flood Fill ，后面有兴趣的时间可以继续研究一下。
本文为了问题简单化，干脆就用一种简单的自己想的 简单办法 来解决掉这个问题：
对某个 黑点 周边的九宫格里面的黑色点计数
如果黑色点少于2个则证明此点为孤立点，然后得到所有的孤立点
对所有孤立点一次批量移除。
下面将详细介绍关于具体的算法原理。
将所有的像素点如下图分成三大类
顶点A
非顶点的边界点B
内部点C
种类点示意图如下：
其中：
A类点计算周边相邻的3个点（如上图红框所示）
B类点计算周边相邻的5个点（如上图红框所示）
C类点计算周边相邻的8个点（如上图红框所示）
当然，由于基准点在计算区域的方向不同，A类点和B类点还会有细分：
A类点继续细分为：左上，左下，右上，右下
B类点继续细分为：上，下，左，右
C类点不用细分
然后这些细分点将成为后续坐标获取的准则。
主要算法的python实现如下：
def sum_9_region(img, x, y): """
9邻域框,以当前点为中心的田字框,黑点个数
:param x:
:param y:
:return: """
# todo 判断图片的长宽度下限
cur_pixel = img.getpixel((x, y)) # 当前像素点的值
width = img.width
height = img.height if cur_pixel == 1: # 如果当前点为白色区域,则不统计邻域值
return 0 if y == 0: # 第一行
if x == 0: # 左上顶点,4邻域
# 中心点旁边3个点
sum = cur_pixel \ + img.getpixel((x, y + 1)) \ + img.getpixel((x + 1, y)) \ + img.getpixel((x + 1, y + 1)) return 4 - sum elif x == width - 1: # 右上顶点
sum = cur_pixel \ + img.getpixel((x, y + 1)) \ + img.getpixel((x - 1, y)) \ + img.getpixel((x - 1, y + 1)) return 4 - sum else: # 最上非顶点,6邻域
sum = img.getpixel((x - 1, y)) \ + img.getpixel((x - 1, y + 1)) \ + cur_pixel \ + img.getpixel((x, y + 1)) \ + img.getpixel((x + 1, y)) \ + img.getpixel((x + 1, y + 1)) return 6 - sum elif y == height - 1: # 最下面一行
if x == 0: # 左下顶点
# 中心点旁边3个点
sum = cur_pixel \ + img.getpixel((x + 1, y)) \ + img.getpixel((x + 1, y - 1)) \ + img.getpixel((x, y - 1)) return 4 - sum elif x == width - 1: # 右下顶点
sum = cur_pixel \ + img.getpixel((x, y - 1)) \ + img.getpixel((x - 1, y)) \ + img.getpixel((x - 1, y - 1)) return 4 - sum else: # 最下非顶点,6邻域
sum = cur_pixel \ + img.getpixel((x - 1, y)) \ + img.getpixel((x + 1, y)) \ + img.getpixel((x, y - 1)) \ + img.getpixel((x - 1, y - 1)) \ + img.getpixel((x + 1, y - 1)) return 6 - sum else: # y不在边界
if x == 0: # 左边非顶点
sum = img.getpixel((x, y - 1)) \ + cur_pixel \ + img.getpixel((x, y + 1)) \ + img.getpixel((x + 1, y - 1)) \ + img.getpixel((x + 1, y)) \ + img.getpixel((x + 1, y + 1)) return 6 - sum elif x == width - 1: # 右边非顶点
# print('%s,%s' % (x, y))
sum = img.getpixel((x, y - 1)) \ + cur_pixel \ + img.getpixel((x, y + 1)) \ + img.getpixel((x - 1, y - 1)) \ + img.getpixel((x - 1, y)) \ + img.getpixel((x - 1, y + 1)) return 6 - sum else: # 具备9领域条件的
sum = img.getpixel((x - 1, y - 1)) \ + img.getpixel((x - 1, y)) \ + img.getpixel((x - 1, y + 1)) \ + img.getpixel((x, y - 1)) \ + cur_pixel \ + img.getpixel((x, y + 1)) \ + img.getpixel((x + 1, y - 1)) \ + img.getpixel((x + 1, y)) \ + img.getpixel((x + 1, y + 1)) return 9 - sum
Tips:这个地方是相当考验人的细心和耐心程度了，这个地方的工作量还是蛮大的，花了半个晚上的时间才完成的。
计算好每个像素点的周边像素黑点（注意：PIL转化的图片黑点的值为0）个数后，只需要筛选出个数为 1或者2 的点的坐标即为 孤立点 。这个判断方法可能不太准确，但是基本上能够满足本文的需求了。
经过预处理后的图片如下所示:
对比文章开头的原始图片，那些 孤立点 都被移除掉，相对比较 干净 的验证码图片已经生成。
9 图片字符切割
由于字符型 验证码图片 本质就可以看着是由一系列的 单个字符图片 拼接而成，为了简化研究对象，我们也可以将这些图片分解到 原子级 ，即： 只包含单个字符的图片。
于是，我们的研究对象由 “N种字串的组合对象” 变成 “10种阿拉伯数字” 的处理，极大的简化和减少了处理对象。
9.1 分割算法
现实生活中的字符验证码的产生千奇百怪，有各种扭曲和变形。关于字符分割的算法，也没有很通用的方式。这个算法也是需要开发人员仔细研究所要识别的字符图片的特点来制定的。
当然，本文所选的研究对象尽量简化了这个步骤的难度，下文将慢慢进行介绍。
使用图像编辑软件（PhoneShop或者其它）打开验证码图片，放大到像素级别，观察其它一些参数特点：
可以得到如下参数：
整个图片尺寸是 40*10
单个字符尺寸是 6*10
左右字符和左右边缘相距2个像素
字符上下紧挨边缘（即相距0个像素）
这样就可以很容易就定位到每个字符在整个图片中占据的像素区域，然后就可以进行分割了，具体代码如下：
def get_crop_imgs(img): """
按照图片的特点,进行切割,这个要根据具体的验证码来进行工作. # 见原理图
:param img:
:return: """
child_img_list = [] for i in range(4):
x = 2 + i * (6 + 4) # 见原理图
y = 0
child_img = img.crop((x, y, x + 6, y + 10))
child_img_list.append(child_img) return child_img_list
然后就能得到被切割的 原子级 的图片元素了：
9.2 内容小结
基于本部分的内容的讨论，相信大家已经了解到了，如果验证码的干扰（扭曲，噪点，干扰色块，干扰线……）做得不够强的话，可以得到如下两个结论：
4位字符和40000位字符的验证码区别不大
纯字母
不区分大小写。分类数为26
区分大小写。分类数为52
纯数字。分类数为10
数字和区分大小写的字母组合。分类数为62
纯数字 和 数字及字母组合 的验证码区别不大
在没有形成 指数级或者几何级 的难度增加，而只是 线性有限级 增加计算量时，意义不太大。
10 尺寸归一
本文所选择的研究对象本身尺寸就是统一状态：6*10的规格，所以此部分不需要额外处理。但是一些进行了扭曲和缩放的验证码，则此部分也会是一个图像处理的难点。
11 模型训练步骤
在前面的环节，已经完成了对单个图片的处理和分割了。后面就开始进行 识别模型 的训练了。
整个训练过程如下：
大量完成预处理并切割到原子级的图片素材准备
对素材图片进行人为分类，即：打标签
定义单张图片的识别特征
使用SVM训练模型对打了标签的特征文件进行训练，得到模型文件
12 素材准备
本文在训练阶段重新下载了同一模式的4数字的验证图片总计：3000张。然后对这3000张图片进行处理和切割，得到12000张原子级图片。
在这12000张图片中删除一些会影响训练和识别的强干扰的干扰素材，切割后的效果图如下：
13 素材标记
由于本文使用的这种识别方法中，机器在最开始是不具备任何 数字的观念的。所以需要人为的对素材进行标识，告诉 机器什么样的图片的内容是 1……。
这个过程叫做 “标记”。
具体打标签的方法是：
为0~9每个数字建立一个目录，目录名称为相应数字（相当于标签）
人为判定 图片内容，并将图片拖到指定数字目录中
每个目录中存放100张左右的素材
一般情况下，标记的素材越多，那么训练出的模型的分辨能力和预测能力越强。例如本文中，标记素材为十多张的时候，对新的测试图片识别率基本为零，但是到达100张时，则可以达到近乎100%的识别率
14 特征选择
对于切割后的单个字符图片，像素级放大图如下：
从宏观上看，不同的数字图片的本质就是将黑色按照一定规则填充在相应的像素点上，所以这些特征都是最后围绕像素点进行。
字符图片 宽6个像素，高10个像素 ，理论上可以最简单粗暴地可以定义出60个特征：60个像素点上面的像素值。但是显然这样高维度必然会造成过大的计算量，可以适当的降维。
通过查阅相应的文献 [2]，给出另外一种简单粗暴的特征定义：
每行上黑色像素的个数，可以得到10个特征
每列上黑色像素的个数，可以得到6个特征
最后得到16维的一组特征，实现代码如下：
def get_feature(img): """
获取指定图片的特征值,
1. 按照每排的像素点,高度为10,则有10个维度,然后为6列,总共16个维度
:param img_path:
:return:一个维度为10（高度）的列表 """
width, height = img.size
pixel_cnt_list = []
height = 10 for y in range(height):
pix_cnt_x = 0 for x in range(width): if img.getpixel((x, y)) == 0: # 黑色点
pix_cnt_x += 1
pixel_cnt_list.append(pix_cnt_x) for x in range(width):
pix_cnt_y = 0 for y in range(height): if img.getpixel((x, y)) == 0: # 黑色点
pix_cnt_y += 1
pixel_cnt_list.append(pix_cnt_y) return pixel_cnt_list
然后就将图片素材特征化，按照 libSVM 指定的格式生成一组带特征值和标记值的向量文
django-simple-captcha安装到了什么位置
下载后python setup.py install进行安装
将下载包解压，将里面的captcha包复制到项目目录下，如myblog/captcha
settings.py里添加：
INSTALLED_APPS(‘captcha’,)
urls.py里添加：
url(r'^captcha/', include('captcha.urls')),
执行python manage.py syncdb生成所需数据库表
在需要用到captcha的forms.py文件里的合适位置添加下面的代码，增加验证码字段：
from captcha.fields import CaptchaField captcha=CaptchaField()
在处理表单提交的业务逻辑代码块里添加：
if form.is_valid(): human =
True三、与django的comments组件结合使用的方法（这里目前我是没有加到自己的项目里面）
如果你的项目里的评论系统直接使用的django内置的comments库，则comments库与此验证码库结合使用的方法如下：
执行前面的1至5步
在
Python27\Lib\site-packages\django\contrib\comments\forms.py文件中（windows环境下的路径），在CommentDetailsForm类里面添加验证码字段：
from captcha.fields import CaptchaField captcha= CaptchaField()
在Python27\Lib\site-packages\django\contrib\comments\views\comments.py文件中，在#
Otherwise create the comment这句下面添加：
human=True
修改表单模板：如果评论表单模板直接用的{{form}}则什么都不用修改；如果是自己定制的表单模板，则可添加如下：
p label for="id_captcha"验证（必填）：/label {{form.captcha}} /p
如何用Python+人工识别处理知乎的倒立汉字验证码
这给Python爬虫的模拟登录带来了一定的难度，目前网络上的相关资料针对的都是普通的“英文+数字”验证码，针对“倒立汉字”验证码的文章较少。而且大家普遍采用的是requests库。经过几天的研究，我采用urllib.request实现了模拟登陆知乎，现将代码分享如下：
[python] view plain copy
# 登录知乎，通过保存验证图片方式
import urllib.request
import urllib.parse
import time
import http.cookiejar
webUrl = "l"#不能写因为不支持重定向
webheader = {
# 'Accept': 'text/html, application/xhtml+xml, */*',
# 'Accept-Language': 'zh-CN',
# 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko',
'User-Agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Mobile Safari/537.36',
# 'User-Agent': 'Mozilla/5.0 (iPod; U; CPU iPhone OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5',
# 'DNT': '1',
# 'Connection': 'Keep-Alive'
}
postData = {
'email': '在这里写你的账号',
'captcha_type': 'cn',
'password': '在这里写你的密码',
'_xsrf': '',
'captcha': ''
}
localStorePath = "写你想保存的验证码图片的地址"
if __name__ == '__main__':
#声明一个CookieJar对象实例来保存cookie
cookie = http.cookiejar.CookieJar()
#创建opener
handler = urllib.request.HTTPCookieProcessor(cookie)
opener = urllib.request.build_opener(handler)#建立opener对象，并添加头信息
urllib.request.install_opener(opener)
captcha_url = '?r=%dtype=loginlang=cn' % (time.time() * 1000)
# captcha_url = '/captcha.gif?r=%dtype=login' % (time.time() * 1000)#这样获得的是“字母+数字验证码”
#这个获取验证码图片的方法是不行的！
# urllib.request.urlretrieve(captcha_url, localStorePath + 'myCaptcha.gif')
#用urlopen函数保存验证图片
req = urllib.request.Request(url=captcha_url,headers=webheader)
content = urllib.request.urlopen(req)
# content = opener.open(req)
captcha_name = 'D:/Python学习/crawler_learning/知乎登录专题研究/知乎验证码图片/myNewCaptcha.gif'
content = content.read()
with open(captcha_name, 'wb') as f:
f.write(content)
postData['captcha'] = input('请输入验证码')
# postData['_xsrf'] = get_xsrf()
postData['_xsrf'] = 'fa5ae712244bd4287e371801052003fc'
print(postData['_xsrf'])
#用urlopen函数传送数据给服务器实现登录
postData_encoded = urllib.parse.urlencode(postData).encode('utf-8')
req = urllib.request.Request(url=webUrl,data=postData_encoded,headers=webheader)
webPage = urllib.request.urlopen(req)
# webPage = opener.open(req)
data = webPage.read().decode('utf-8')
print(data)
with open("D:/知乎服务器反馈的内容.txt",mode='w',encoding='utf-8') as dataFile:
dataFile.write(data)
几点思考：
1、首先需要明确如何获得验证码图片的地址，利用Fiddler抓包获得的典型的验证码图片的地址如下：
这个“r”代表的是什么含义呢？经过查看知乎上的js代码可以确定，这个r指的是毫秒级的时间戳。
2、以验证码图片地址cn为例，不同时间访问同一个验证码图片地址，得到的验证码图片是不同的，那么知乎服务器是如何知道你获取的是那张验证码呢？
我认为是通过sessionID，换句话说，知乎把某个验证码图片给了你，同时知乎记录下了你的sessionID和这个验证码的“正确答案”，这样将来你输入验证码给知乎后，知乎就能判断你输入的验证码是否正确了。
由于sessionID保存在cookie之中，所以Python模拟登陆的代码必须使用cookie。
3、获取验证码图片的时候，我用的是content =urllib.request.urlopen (req)函数，经过我的验证，用
urllib.request.urlretrieve函数是不行的，因为urlopen函数可以传递headers参数，而这一个参数必须有。
4、获得了倒立汉字图片以后，如何确定要传递给知乎的captcha是什么呢？经过Fiddler抓包，
传递的参数类似于这样：
{"img_size":[200,44],"input_points":[[43.44,22.44],[115.72,22.44]]}
经过分析和试验确定：200指的是图片长度，44指的是图片高度，后面的input_points指的是打在倒立汉字上的点的坐标。由于每次出现7个汉字，这7个汉字的坐标是固定的，我全部进行捕获：
{"img_size":[200,44],"input_points":[[12.95,14.969999999999998],[36.1,16.009999999999998],[57.16,24.44],[84.52,19.17],[108.72,28.64],[132.95,24.44],[151.89,23.380000000000002]]}
然后，问题就简单了：将图片保存在本地之后，打开图片，确定哪几个汉字倒立，比如说第2个和第6个，那就在上面选取出2和6的坐标输入即可，即
{"img_size":[200,44],"input_points":[[36.1,16.009999999999998],[132.95,24.44]]}。
5、小窍门：以验证码图片地址
