本文目录一览：
- 1、如何使用python爬取到高清原图
- 2、如何用python3.x爬取百度图片
- 3、python抓取百度随机抓取百度街景图片
- 4、Python如何爬取百度图片？
- 5、python3 爬取图片异常的原因？
- 6、python如何利用requests和bs4爬取图片？
如何使用python爬取到高清原图
# -*- coding:utf8 -*-
# 2013.12.36 19:41 wnlo-c209
# 抓取dbmei.com的图片。
from bs4 import BeautifulSoup
import os, sys, urllib2
# 创建文件夹，昨天刚学会
path = os.getcwd() # 获取此脚本所在目录
new_path = os.path.join(path,u'豆瓣妹子')
if not os.path.isdir(new_path):
os.mkdir(new_path)
def page_loop(page=0):
url = '' % page
content = urllib2.urlopen(url)
soup = BeautifulSoup(content)
my_girl = soup.find_all('img')
# 加入结束检测，写的不好....
if my_girl ==[]:
print u'已经全部抓取完毕'
sys.exit(0)
print u'开始抓取'
for girl in my_girl:
link = girl.get('src')
flink = '' + link
print flink
content2 = urllib2.urlopen(flink).read()
with open(u'豆瓣妹子'+'/'+flink[-11:],'wb') as code:#在OSC上现学的
code.write(content2)
page = int(page) + 1
print u'开始抓取下一页'
print 'the %s page' % page
page_loop(page)
page_loop()
print "~~~~~~~~~~~~~~~~~~~~~~~~~~END~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~"
#为了避免双击的时候直接一闪退出，在最后面加了这么一句
raw_input("Press Enter To Quit!")
如何用python3.x爬取百度图片
百度的反爬虫机制触发了，它检测到你是爬虫所以拒绝了你的请求。
这个东西比较复杂，建议网上搜一搜反爬虫机制，然后一个一个试解决办法。
最简单的就是通过代理服务器来爬。
最后建议你可以试一试requests库，我在爬取微博图床的时候只用requests库就完美解决了反爬虫，再没报过错。
python抓取百度随机抓取百度街景图片
最近公司有一个需求就是随机抓取10万张百度街景地图，刚开始没有什么头绪，最后还是解决了，在这里分享一下。
毫无疑问，这些图片肯定是异步加载的，打开百度地图的街景模式，f12打开开发者模式，清空所有响应，并点击向前
可以看到产生了很多的图片
Python如何爬取百度图片？
几乎所有的网站都会有反爬机制，这就需要在爬取网页时携带一些特殊参数，比如：user-agent、Cookie等等，可以在写代码的时候用工具将所有参数都带上。
python3 爬取图片异常的原因？
我们在下载文件时，一会会采取urlretrieve或是requests的get方式，
from urllib.request import urlretrieve
urlretrieve(self.url, filename="xxx.png")
但对于连续下载，各个文件保存是需要时间的，而程序运行永运是快于存储的，我怀疑这是水管里流水速度与缸的大小不合适的原因，那可以试试下面这种方式：
r = requests.get(url, stream=True)
with open(local_filename, 'wb') as f:
for chunk in r.iter_content(chunk_size=1024):
if chunk: # filter out keep-alive new chunks
f.write(chunk)
f.flush()
python如何利用requests和bs4爬取图片？
爬取网站的内容不管爬啥。肯定得找到需要爬取内容的位置。如果是图片的话。首先得找到图片的地址。把链接复制下来打开是你想要的图片的话。直接请求那个地址。写入文件就行。用二进制加后缀就能保存图片了。图片音乐和视频都是一样的。
