您的位置:

python爬取蚂蜂窝教程(python爬取数据的原理)

本文目录一览:

python 可以在蚂蜂窝上爬数据吗

当然可以。

爬虫代码分析

我们首先需要爬取得页面为 

我们可以看到url为曼谷p=1t=catekt=1。主要参数有q ,p ,t,其中q为城市名,p为页码,t为分类,cate为美食,kt为不影响参数。

需要获取该页面,detail为域名以后的参数,这个函数可以用于获得域名主页下的网页

#获取下级页面

def getDetailPage(detailURL):

try:

url = ""+detailURL"

request = urllib2.Request(url)

response = urllib2.urlopen(request)

#利用urllib2的Request方法返回一个request对象并用urlopen打开

page = response.read()

#用read()方法读取页面内容,Input: print page Output: 页面html

pageCode = re.sub(r'br[ ]?/?', '\n', page)

#去掉html里的回车空行

return pageCode

except urllib2.URLError, e:

if hasattr(e, "reason"):

print e.reason

return None12345678910111213141516

获得每家美食店铺的链接,首先进行元素检查查看链接位于的位置

#获得美食单页店铺链接

def getFoodHref(self,pageid):

url = "/group/s.php?q="+self.city+"p=" +str(pageid)+ "t=catekt=1"

page = getDetailPage(url)        #调用getDetailPage获得页面

soup = BeautifulSoup(page,'html.parser')        #用BeautifulSoup进行页面解析

FoodHref = []

FoodLists =  soup.find(name="div",attrs={'data-category':'poi'}).ul

FoodHrefList = FoodLists.find_all("h3")        #找出div class="_j_search_section" data-category="poi"标签下所有的h3标签的内容,结果为店铺列表的html

for FoodHrefs in FoodHrefList:

FoodWebsite = FoodHrefs.a['href']            #对列表循环找出a标签href属性的值,即为店铺的url

FoodHrefShort = str(FoodWebsite).replace('','')            #去掉url前的域名,以便等会调用getDetaiL函数,传入它获得店铺页面

FoodHref.append(FoodHrefShort)        return FoodHref123456789101112131415161718

接下来再次调用getDetailPage(),传入FoodHref,即可可以获得店铺的页面,通过BeautifulSoup进行信息获取了。但我在抓取的时候遇到一个问题。 

这是一个信息齐全的店铺,但有的店铺没有网址,没有交通信息该怎么办。比如这个 

经过元素检查发现标签也是一样的,无法通过标签特有的属性或者class的值进行定向抓取。用div class="bd"的子节点兄弟节点查也不行。后来想出一个方法。

先写一个匹配函数hasAttr,list参数为一个中文的完整信息名列表,在getShopInfo方法里通过循环列表内容与抓取的div class="bd"标签内容匹配,如果返回True则表示存在该信息项,否则继续匹配下一项。比如上面的图,先匹配简介,匹配失败,继续匹配英文名字,也失败,知道匹配到地址,成功,保存地址下一个标签的内容。直到获得所有信息。

#判断是否存在信息列表

def hasAttr(self,list):

soup = BeautifulSoup(page, 'html.parser')

col = soup.find("div", class_="col-main").find("div", class_="bd")

str_col = str(col)        if list in str_col:            return True

else:            return False

#抓取店铺信息

def getShopInfo(self,page):

shopInfoList = ['brief','localName','location', 'telephone', 'website', 'ticket', 'openTime','shopName','shopScore']

infoItem = ['简介', '英文名称', '地址', '电话', '网址', '门票', '开放时间','名字','星评']

soup = BeautifulSoup(page, 'html.parser')

shopName = soup.find("div", class_="wrapper").h1.string

shopScore = soup.find("div", class_="col-main").span.em.string            for i in range(0,6):            #信息项循环查找

if self.hasAttr(page, infoItem[i]):

pattern_shopinfo = re.compile(                            'div class="col-main.*?div class="bd".*?'+ infoItem[i] +'/h3.*?(.*?)/p', re.S)

shopInfos = re.findall(pattern_shopinfo, page)                        #存在该项则用正则取出其标签内容

for shopInfo in shopInfos:

shopInfoList[i] = shopInfo                else:                        #继续查找下一项

continue

shopInfoList[7] = shopName

shopInfoList[8] = shopScore            return shopInfoList1234567891011121314151617181920212223242526272829303132333435

最后将数据加入字典,如果一键对多值,比如dict = {a:[]},调用set default(键名,[]).append(列表值) 

dict.setdefault('comment',[]).appnd(comment)

然后json.dumps(dict,indent=1).decode("unicode_escape")。indent参数是为了以json树形式表现出数据,如果内容中有中文要用decode("unicode_escape"),否则结果为”\u”的unicode编码