'''
Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。
它是一个工具箱，经过解析文档为用户提供须要抓取的数据，由于简单，因此不须要多少代码就能够写出一个完整的应用程序。
'''

pip install beautifulsoup4

pip install lxml

pip install html5lib

1. 导包：from bs4 import BeautifulSoup
2. 能够将一个html文档，转化为BeautifulSoup对象，而后经过对象的方法或者属性去查找指定的节点内容
    2.1 本地文件：soup = BeautifulSoup(open('本地文件'), 'lxml')

    2.2 网络数据：soup = BeautifulSoup('字符串类型或者字节类型', 'lxml')

<1>根据标签名查找
        - soup.a   只能找到第一个符合要求的标签，返回标签

<2>获取属性
        - soup.a.attrs  返回一个字典,获取a全部的属性和属性值
        - soup.a.attrs['href']   获取href属性
        - soup.a['href']   也可简写为这种形式

<3>获取内容
        - soup.a.string
        - soup.a.text
        - soup.a.get_text()    与text无区别
       【注意】若是标签还有标签，那么string获取到的结果为None，而其它两个，能够获取文本内容

<4>find：找到第一个符合要求的标签
        - soup.find('a')  找到第一个符合要求的
        - soup.find('a', title="xxx")
        - soup.find('a', alt="xxx")
        - soup.find('a', class_="xxx")
        - soup.find('a', id="xxx")

<5>find_all：找到全部符合要求的标签
        - soup.find_all('a')
        - soup.find_all(['a','b']) 找到全部的a和b标签
        - soup.find_all('a', limit=2)  限制前两个

<6>根据选择器选择指定的内容
               select:soup.select('#feng')
        - 常见的选择器：标签选择器(a)、类选择器(.)、id选择器(#)、层级选择器
            - 层级选择器：
                div .dudu #lala .meme .xixi  下面好多级
                div > p > a > .lala          只能是下面一级
        【注意】select选择器返回永远是列表，须要经过下标提取指定的对象

# 字符串:即标签名
print(soup.find_all('b'))  # [<b class="boldest" id="bbb">The Dormouse's story</b>]

# 正则表达式
print(soup.find_all(re.compile("^b")))  # 找出b开头的标签，结果有body和b标签

# 列表：若是传入列表参数，BeautifulSoup会与列表中任一元素匹配的内容返回
print(soup.find_all(['a', 'b']))  # 找到文档中全部<a>标签和<b>标签

# True: 能够匹配任何值
print(soup.find_all(True))  # 找出全部的tag
for tag in soup.find_all(True):
    print(tag.name)             # html head title body p b p a a a p

# 方法: 若是没有合适过滤器，能够定义一个方法，方法只接受一个元素参数，若是这个方法返回True, 表示当前元素匹配而且被找到，若是不是则返回False
def has_class_but_no_id(tag):
    return tag.has_attr('class') and not tag.has_attr('id')
print(soup.find_all(has_class_but_no_id))

print(soup.find_all('a', class_='sister'))  # 查找class为sister的a标签
print(soup.find_all('a', id='link3'))  # 查找id为link3的a标签

print(soup.find_all('p', attrs={'class': 'story'}))  # 查找class为story的p标签

print(soup.find_all(text='Elsie'))  # ['Elsie']
print(soup.find_all('a', text='Elsie'))  # [<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>]

print(soup.find_all('a', limit=2))

print(soup.html.find_all('a'))
# 局部查找
print(soup.html.find_all('a', recursive=False))

print(soup.select('.sister'))  # 查找class为sister的标签
print(soup.select("#link2"))  # 查找id为link2的标签
print(soup.select('.c1 a'))  # 查找class为c1标签下的a标签