用python编写的抓京东商品价格的爬虫

kkkkk 2018年12月17日 23:07 Python高级

闲着没事尝试抓一下京东的数据,需要使用到的库有:BeautifulSoup,urllib2,在Python2下测试通过

from creepy import Crawler
from BeautifulSoup import BeautifulSoup
import urllib2
import json

class MyCrawler(Crawler):
    def process_document(self, doc):
        if doc.status == 200:
            print '[%d] %s' % (doc.status, doc.url)
            try:
                soup = BeautifulSoup(doc.text.decode('gb18030').encode('utf-8'))
            except Exception as e:
                print e
                soup = BeautifulSoup(doc.text)
            print soup.find(id="product-intro").div.h1.text
            url_id=urllib2.unquote(doc.url).decode('utf8').split('/')[-1].split('.')[0]
            f = urllib2.urlopen('http://p.3.cn/prices/get?skuid=J_'+url_id,timeout=5)
            price=json.loads(f.read())
            f.close()
            print price[0]['p']
        else:
            pass

crawler = MyCrawler()
crawler.set_follow_mode(Crawler.F_SAME_HOST)
crawler.set_concurrency_level(16)
crawler.add_url_filter('\.(jpg|jpeg|gif|png|js|css|swf)$')
crawler.crawl('http://item.jd.com/982040.html')


部分运行结果:


[200] http://item.jd.com/519836.html

三星 HM1200 原装蓝牙耳机 黑色

118.00

[200] http://item.jd.com/603133.html

捷波朗 EASYVOICE+ 易音 蓝牙耳机 黑色

-1

[200] http://item.jd.com/1030552473.html

【年终热卖】嘉源手机N699 2.8寸双屏双卡双待双电2000毫安翻盖手机 黑

268.00


文章评论(0)
  • avatar kkkkkk 2018年12月21日 11:31
    能向你学习吗?
    kkkkk
    2018年12月21日 11:16
    清新流畅,自然有致 取材丰富,文字生动。 颇富幽默,笔调轻松 自然顺畅,有条不紊。
    回复
  • avatar kkkkkk 2018年12月21日 11:31
    潭州python学院老师真棒!
    kkkkklxinde
    2018年12月21日 11:17
    叙事鸡零狗碎,议论空洞粗浅,结构呆板单一。
    回复
  • avatar kkkkklxinde 2018年12月21日 11:17
    叙事鸡零狗碎,议论空洞粗浅,结构呆板单一。
    回复
  • avatar kkkkk 2018年12月21日 11:16
    清新流畅,自然有致 取材丰富,文字生动。 颇富幽默,笔调轻松 自然顺畅,有条不紊。
    回复