使用python进行web抓取

http://cxy.liuzhihengseo.com/462.htmljavascript

原文出处: 磁针石   css

本文摘要自Web Scraping with Python – 2015html

书籍下载地址:https://bitbucket.org/xurongzhong/python-chinese-library/downloadsjava

源码地址:https://bitbucket.org/wswp/codepython

演示站点:http://example.webscraping.com/程序员

演示站点代码:http://bitbucket.org/wswp/placesweb

推荐的python基础教程: http://www.diveintopython.net正则表达式

HTML和JavaScript基础:数据库

http://www.w3schools.comexpress

web抓取简介

  • 为何要进行web抓取?

网购的时候想比较下各个网站的价格,也就是实现惠惠购物助手的功能。有API天然方便,可是一般是没有API,此时就须要web抓取。

  • web抓取是否合法?

抓取的数据,我的使用不违法,商业用途或从新发布则须要考虑受权,另外须要注意礼节。根据国外已经判决的案例,通常来讲位置和电话能够从新发布,可是原创数据不容许从新发布。

更多参考:

http://www.bvhd.dk/uploads/tx_mocarticles/S_-_og_Handelsrettens_afg_relse_i_Ofir-sagen.pdf

http://www.austlii.edu.au/au/cases/cth/FCA/2010/44.html

http://caselaw.findlaw.com/us-supreme-court/499/340.html

  • 背景研究

robots.txt和Sitemap能够帮助了解站点的规模和结构,还可使用谷歌搜索和WHOIS等工具。

好比:http://example.webscraping.com/robots.txt

1

2

3

4

5

6

7

8

9

10

11

# section 1

User-agent: BadCrawler

Disallow: /

 

# section 2

User-agent: *

Crawl-delay: 5

Disallow: /trap 

 

# section 3

Sitemap: http://example.webscraping.com/sitemap.xml

更多关于web机器人的介绍参见 http://www.robotstxt.org
Sitemap的协议: http://www.sitemaps.org/protocol.html,好比:

1

2

3

4

http://example.webscraping.com/view/Afghanistan-1

http://example.webscraping.com/view/Aland-Islands-2

http://example.webscraping.com/view/Albania-3

...

站点地图常常不完整。

站点大小评估:
经过google的site查询 好比:site:automationtesting.sinaapp.com

站点技术评估:

1

2

3

4

5

6

7

8

9

10

# pip install builtwith

# ipython

In [1]: import builtwith

 

In [2]: builtwith.parse('http://automationtesting.sinaapp.com/')

Out[2]: 

{u'issue-trackers': [u'Trac'],

 u'javascript-frameworks': [u'jQuery'],

 u'programming-languages': [u'Python'],

 u'web-servers': [u'Nginx']}

分析网站全部者:

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

# pip install python-whois

# ipython

In [1]: import whois

 

In [2]: print whois.whois('http://automationtesting.sinaapp.com')

{

  "updated_date": "2016-01-07 00:00:00", 

  "status": [

    "serverDeleteProhibited https://www.icann.org/epp#serverDeleteProhibited", 

    "serverTransferProhibited https://www.icann.org/epp#serverTransferProhibited", 

    "serverUpdateProhibited https://www.icann.org/epp#serverUpdateProhibited"

  ], 

  "name": null, 

  "dnssec": null, 

  "city": null, 

  "expiration_date": "2021-06-29 00:00:00", 

  "zipcode": null, 

  "domain_name": "SINAAPP.COM", 

  "country": null, 

  "whois_server": "whois.paycenter.com.cn", 

  "state": null, 

  "registrar": "XIN NET TECHNOLOGY CORPORATION", 

  "referral_url": "http://www.xinnet.com", 

  "address": null, 

  "name_servers": [

    "NS1.SINAAPP.COM", 

    "NS2.SINAAPP.COM", 

    "NS3.SINAAPP.COM", 

    "NS4.SINAAPP.COM"

  ], 

  "org": null, 

  "creation_date": "2009-06-29 00:00:00", 

  "emails": null

}

  • 抓取第一个站点

简单的爬虫(crawling)代码以下:

Python

1

2

3

4

5

6

7

8

9

10

import urllib2

 

def download(url):

    print 'Downloading:', url

    try:

        html = urllib2.urlopen(url).read()

    except urllib2.URLError as e:

        print 'Download error:', e.reason

        html = None

    return html

能够基于错误码重试。HTTP状态码:https://tools.ietf.org/html/rfc7231#section-6。4**不必重试,5**能够重试下。

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73

74

75

76

77

78

79

80

81

82

83

84

85

86

87

88

89

90

91

92

93

94

95

96

97

98

99

100

101

102

103

104

105

106

107

108

109

import urllib2

 

def download(url, num_retries=2):

    print 'Downloading:', url

    try:

        html = urllib2.urlopen(url).read()

    except urllib2.URLError as e:

        print 'Download error:', e.reason

        html = None

        if num_retries > 0:

            if hasattr(e, 'code') and 500 

  http://httpstat.us/500 会返回500,能够用它来测试下:

>>> download('http://httpstat.us/500')

Downloading: http://httpstat.us/500

Download error: Internal Server Error

Downloading: http://httpstat.us/500

Download error: Internal Server Error

Downloading: http://httpstat.us/500

Download error: Internal Server Error

设置 user agent

urllib2默认的user agent是“Python-urllib/2.7”,不少网站会对此进行拦截, 推荐使用接近真实的agent,好比

Mozilla/5.0 (X11; Linux x86_64; rv:38.0) Gecko/20100101 Firefox/38.0

为此咱们增长user agent设置:

import urllib2

 

def download(url, user_agent='Mozilla/5.0 (X11; Linux x86_64; rv:38.0) Gecko/20100101 Firefox/38.0', num_retries=2):

    print 'Downloading:', url

    headers = {'User-agent': user_agent}

    request = urllib2.Request(url, headers=headers)    

    try:

        html = urllib2.urlopen(request).read()

    except urllib2.URLError as e:

        print 'Download error:', e.reason

        html = None

        if num_retries > 0:

            if hasattr(e, 'code') and 500 

 

爬行站点地图:

def crawl_sitemap(url):

    # download the sitemap file

    sitemap = download(url)

    # extract the sitemap links

    links = re.findall('(.*?)', sitemap)

    # download each link

    for link in links:

        html = download(link)

        # scrape html here

        # ...

ID循环爬行:•  http://example.webscraping.com/view/Afghanistan-1•  http://example.webscraping.com/view/Australia-2•  http://example.webscraping.com/view/Brazil-3上面几个网址仅仅是最后面部分不一样,一般程序员喜欢用数据库的id,好比:http://example.webscraping.com/view/1 ,这样咱们就能够数据库的id抓取网页。

for page in itertools.count(1):

    url = 'http://example.webscraping.com/view/-%d' % page

    html = download(url)

    if html is None:

        break

    else:

        # success - can scrape the result

        pass

        固然数据库有可能删除了一条记录,为此咱们改进成以下:

# maximum number of consecutive download errors allowed

max_errors = 5

# current number of consecutive download errors

num_errors = 0

for page in itertools.count(1):

    url = 'http://example.webscraping.com/view/-%d' % page

    html = download(url)

    if html is None:

        # received an error trying to download this webpage

        num_errors += 1

        if num_errors == max_errors:

            # reached maximum number of

            # consecutive errors so exit

            break

    else:

        # success - can scrape the result

        # ...

        num_errors = 0

有些网站不存在的时候会返回404,有些网站的ID不是这么有规则的,好比亚马逊使用ISBN。       

 

分析网页

通常的浏览器都有"查看页面源码"的功能,在FirefoxFirebug尤为方便。以上工具均可以邮件点击网页调出。抓取网页数据主要有3种方法:正则表达式、BeautifulSouplxml。正则表达式示例:

In [1]: import re

 

In [2]: import common

 

In [3]: url = 'http://example.webscraping.com/view/UnitedKingdom-239'

 

In [4]: html = common.download(url)

Downloading: http://example.webscraping.com/view/UnitedKingdom-239

 

In [5]: re.findall('(.*?)', html)

Out[5]: 

['',

 '244,820 square kilometres',

 '62,348,447',

 'GB',

 'United Kingdom',

 'London',

 'EU',

 '.uk',

 'GBP',

 'Pound',

 '44',

 '@# #@@|@## #@@|@@# #@@|@@## #@@|@#@ #@@|@@#@ #@@|GIR0AA',

 '^(([A-Z]\d{2}[A-Z]{2})|([A-Z]\d{3}[A-Z]{2})|([A-Z]{2}\d{2}[A-Z]{2})|([A-Z]{2}\d{3}[A-Z]{2})|([A-Z]\d[A-Z]\d[A-Z]{2})|([A-Z]{2}\d[A-Z]\d[A-Z]{2})|(GIR0AA))$',

 'en-GB,cy-GB,gd',

 'IE ']

 

In [6]: re.findall('(.*?)', html)[1]

Out[6]: '244,820 square kilometres'

维护成本比较高。
Beautiful Soup:

Python

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

In [7]: from bs4 import BeautifulSoup

 

In [8]: broken_html = '<ul class=country><li>Area<li>Population</ul>'

 

In [9]: # parse the HTML

 

In [10]: soup = BeautifulSoup(broken_html, 'html.parser')

 

In [11]: fixed_html = soup.prettify()

 

In [12]: print fixed_html

<ul class="country">

<li>

  Area

  <li>

   Population

  </li>

</li>

</ul>

In [13]: ul = soup.find('ul', attrs={'class':'country'})

 

In [14]: ul.find('li') # returns just the first match

Out[14]: <li>Area<li>Population</li></li>

 

In [15]: ul.find_all('li') # returns all matches

Out[15]: [<li>Area<li>Population</li></li>, <li>Population</li>]

完整的例子:

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

In [1]: from bs4 import BeautifulSoup

 

In [2]: url = 'http://example.webscraping.com/places/view/United-Kingdom-239'

 

In [3]: import common

 

In [5]: html = common.download(url)

Downloading: http://example.webscraping.com/places/view/United-Kingdom-239

 

In [6]: soup = BeautifulSoup(html)

/usr/lib/python2.7/site-packages/bs4/__init__.py:166:

 UserWarning: No parser was explicitly specified, so I'm using the best 

available HTML parser for this system ("lxml"). This usually isn't a 

problem, but if you run this code on another system, or in a different 

virtual environment, it may use a different parser and behave 

differently.

 

To get rid of this warning, change this:

 

 BeautifulSoup([your markup])

 

to this:

 

 BeautifulSoup([your markup], "lxml")

 

  markup_type=markup_type))

 

In [7]: # locate the area row

 

In [8]: tr = soup.find(attrs={'id':'places_area__row'})

 

In [9]: td = tr.find(attrs={'class':'w2p_fw'}) # locate the area tag

 

In [10]: area = td.text # extract the text from this tag

 

In [11]: print area

244,820 square kilometres

Lxml基于 libxml2(c语言实现),更快速,可是有时更难安装。网址:http://lxml.de/installation.html。

Python

1

2

3

4

5

6

7

8

9

10

11

12

13

In [1]: import lxml.html

 

In [2]: broken_html = '<ul class=country><li>Area<li>Population</ul>'

 

In [3]: tree = lxml.html.fromstring(broken_html) # parse the HTML

 

In [4]: fixed_html = lxml.html.tostring(tree, pretty_print=True)

 

In [5]: print fixed_html

<ul class="country">

<li>Area</li>

<li>Population</li>

</ul>

lxml的容错能力也比较强,少半边标签一般没事。

下面使用css选择器,注意安装cssselect。

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

In [1]: import common

 

In [2]: import lxml.html

 

In [3]: url = 'http://example.webscraping.com/places/view/United-Kingdom-239'

 

In [4]: html = common.download(url)

Downloading: http://example.webscraping.com/places/view/United-Kingdom-239

 

In [5]: tree = lxml.html.fromstring(html)

 

In [6]: td = tree.cssselect('tr#places_area__row > td.w2p_fw')[0]

 

In [7]: area = td.text_content()

 

In [8]: print area

244,820 square kilometres

在 CSS 中,选择器是一种模式,用于选择须要添加样式的元素。

“CSS” 列指示该属性是在哪一个 CSS 版本中定义的。(CSS一、CSS2 仍是 CSS3。)

选择器 例子 例子描述 CSS
.class .intro 选择 class=”intro” 的全部元素。 1
#id #firstname 选择 id=”firstname” 的全部元素。 1
* * 选择全部元素。 2
element p 选择全部元素。 1
element,element div,p 选择全部 

元素和全部元素。

1
element element div p 选择 

元素内部的全部元素。

1
element>element div>p 选择父元素为 

元素的全部元素。

2
element+element div+p 选择紧接在 

元素以后的全部元素。

2
[attribute] [target] 选择带有 target 属性全部元素。 2
[attribute=value] [target=_blank] 选择 target=”_blank” 的全部元素。 2
[attribute~=value] [title~=flower] 选择 title 属性包含单词 “flower” 的全部元素。 2
[attribute|=value] [lang|=en] 选择 lang 属性值以 “en” 开头的全部元素。 2
:link a:link 选择全部未被访问的连接。 1
:visited a:visited 选择全部已被访问的连接。 1
:active a:active 选择活动连接。 1
:hover a:hover 选择鼠标指针位于其上的连接。 1
:focus input:focus 选择得到焦点的 input 元素。 2
:first-letter p:first-letter 选择每一个元素的首字母。 1
:first-line p:first-line 选择每一个元素的首行。 1
:first-child p:first-child 选择属于父元素的第一个子元素的每一个元素。 2
:before p:before 在每一个元素的内容以前插入内容。 2
:after p:after 在每一个元素的内容以后插入内容。 2
:lang(language) p:lang(it) 选择带有以 “it” 开头的 lang 属性值的每一个元素。 2
element1~element2 p~ul 选择前面有元素的每一个 
  • 元素。

3
[attribute^=value] a[src^="https"] 选择其 src 属性值以 “https” 开头的每一个元素。 3
[attribute$=value] a[src$=".pdf"] 选择其 src 属性以 “.pdf” 结尾的全部 元素。 3
[attribute*=value] a[src*="abc"] 选择其 src 属性中包含 “abc” 子串的每一个元素。 3
:first-of-type p:first-of-type 选择属于其父元素的首个元素的每一个 

元素。

3
:last-of-type p:last-of-type 选择属于其父元素的最后元素的每一个 

元素。

3
:only-of-type p:only-of-type 选择属于其父元素惟一的元素的每一个 

元素。

3
:only-child p:only-child 选择属于其父元素的惟一子元素的每一个元素。 3
:nth-child(n) p:nth-child(2) 选择属于其父元素的第二个子元素的每一个元素。 3
:nth-last-child(n) p:nth-last-child(2) 同上,从最后一个子元素开始计数。 3
:nth-of-type(n) p:nth-of-type(2) 选择属于其父元素第二个元素的每一个 

元素。

3
:nth-last-of-type(n) p:nth-last-of-type(2) 同上,可是从最后一个子元素开始计数。 3
:last-child p:last-child 选择属于其父元素最后一个子元素每一个元素。 3
:root :root 选择文档的根元素。 3
:empty p:empty 选择没有子元素的每一个元素(包括文本节点)。 3
:target #news:target 选择当前活动的 #news 元素。 3
:enabled input:enabled 选择每一个启用的 <input>元素。 3
:disabled input:disabled 选择每一个禁用的 <input>元素 3
:checked input:checked 选择每一个被选中的 <input>元素。 3
:not(selector) :not(p) 选择非<p>元素的每一个元素。 3
::selection ::selection 选择被用户选取的元素部分。 3

CSS 选择器参见:http://www.w3school.com.cn/cssref/css_selectors.ASP 和 https://pythonhosted.org/cssselect/#supported-selectors。

下面经过提取以下页面的国家数据来比较性能:

比较代码:

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

import urllib2

import itertools

import re

from bs4 import BeautifulSoup

import lxml.html

import time

 

FIELDS = ('area', 'population', 'iso', 'country', 'capital',

'continent', 'tld', 'currency_code', 'currency_name', 'phone',

'postal_code_format', 'postal_code_regex', 'languages',

'neighbours')

 

def download(url, user_agent='Mozilla/5.0 (X11; Linux x86_64; rv:38.0) Gecko/20100101 Firefox/38.0', num_retries=2):

    print 'Downloading:', url

    headers = {'User-agent': user_agent}

    request = urllib2.Request(url, headers=headers)    

    try:

        html = urllib2.urlopen(request).read()

    except urllib2.URLError as e:

        print 'Download error:', e.reason

        html = None

        if num_retries > 0:

            if hasattr(e, 'code') and 500 (.*?)' % field, html.replace('n','')).groups()[0]

    return results

 

def bs_scraper(html):

    soup = BeautifulSoup(html, 'html.parser')

    results = {}

    for field in FIELDS:

        results[field] = soup.find('table').find('tr',id='places_%s__row' % field).find('td',class_='w2p_fw').text

    return results

 

def lxml_scraper(html):

    tree = lxml.html.fromstring(html)

    results = {}

    for field in FIELDS:

        results[field] = tree.cssselect('table > tr#places_%s__row> td.w2p_fw' % field)[0].text_content()

    return results

 

NUM_ITERATIONS = 1000 # number of times to test each scraper

html = download('http://example.webscraping.com/places/view/United-Kingdom-239')

 

for name, scraper in [('Regular expressions', re_scraper),('BeautifulSoup', bs_scraper),('Lxml', lxml_scraper)]:

    # record start time of scrape

    start = time.time()

    for i in range(NUM_ITERATIONS):

        if scraper == re_scraper:

            re.purge()

        result = scraper(html)

        # check scraped result is as expected

        assert(result['area'] == '244,820 square kilometres')

 

    # record end time of scrape and output the total

    end = time.time()

    print '%s: %.2f seconds' % (name, end - start)

Windows执行结果:

1

2

3

4

Downloading: http://example.webscraping.com/places/view/United-Kingdom-239

Regular expressions: 11.63 seconds

BeautifulSoup: 92.80 seconds

Lxml: 7.25 seconds

Linux执行结果:

1

2

3

4

Downloading: http://example.webscraping.com/places/view/United-Kingdom-239

Regular expressions: 3.09 seconds

BeautifulSoup: 29.40 seconds

Lxml: 4.25 seconds

其中 re.purge() 用户清正则表达式的缓存。

推荐使用基于Linux的lxml,在同一网页屡次分析的状况优点更为明显。

 问啊-定制化IT教育平台,牛人一对一服务,有问必答,开发编程社交头条 官方网站:www.wenaaa.com 下载问啊APP,参与官方悬赏,赚百元现金。QQ群290551701 汇集不少互联网精英,技术总监,架构师,项目经理!开源技术研究,欢迎业内人士,大牛及新手有志于从事IT行业人员进入!

相关文章
相关标签/搜索