Python使用Beautiful Soup(BS4)库解析HTML和XML_python_

新闻 hao123 地图 视频 贴吧 更多产品 

from bs4 import BeautifulSoup file = open('./aa.html', 'rb') html = file.read() bs = BeautifulSoup(html, "html.parser") # 缩进格式 print(bs.prettify()) # 格式化html结构 print(bs.title) # print(bs.title.name) # 获取title标签的名称 :title print(bs.title.string) # 获取title标签的文本内容 : 百度一下，你就知道 print(bs.head) # 获取head标签的所有内容 : print(bs.div) # 获取第一个div标签中的所有内容 : print(bs.div["id"]) # 获取第一个div标签的id的值 : wrapper print(bs.a) # 获取第一个a标签中的所有内容 : 新闻  print(bs.find_all("a")) # 获取所有的a标签中的所有内容 : [....] print(bs.find(id="u1")) # 获取id="u1"的所有内容 : for item in bs.find_all("a"): # 获取所有的a标签，并遍历打印a标签中的href的值 : print(item.get("href")) for item in bs.find_all("a"): # 获取所有的a标签，并遍历打印a标签的文本值: print(item.get_text())

print(bs.title) # 获取title标签的所有内容 print(bs.head) # 获取head标签的所有内容 print(bs.a) # 获取第一个a标签的所有内容 print(type(bs.a))# 类型

print(bs.name) # [document] #bs 对象本身比较特殊，它的 name 即为 [document] print(bs.head.name) # head #对于其他内部标签，输出的值便为标签本身的名称 print(bs.a.attrs) # 在这里，我们把 a 标签的所有属性打印输出了出来，得到的类型是一个字典。 print(bs.a['class']) ##还可以利用get方法，传入属性的名称，二者是等价的，等价 bs.a.get('class') bs.a['class'] = "newClass"# 可以对这些属性和内容等等进行修改 print(bs.a) del bs.a['class'] # 还可以对这个属性进行删除 print(bs.a)

print(bs.title.string) # 百度一下，你就知道 print(type(bs.title.string)) #

print(type(bs.name)) # print(bs.name) # [document] print(bs.attrs) # {}

print(bs.a) # 此时不能出现空格和换行符，a标签如下： # print(bs.a.string) # 新闻 print(type(bs.a.string)) #

print(bs.head.contents) # tag的.contents属性可以将tag的子节点以列表的方式输出:[...] print(bs.head.contents[1]) # 用列表索引来获取它的某一个元素:

for child in bs.body.children: print(child)

a_list = bs.find_all("a") print(a_list)

import re t_list = bs.find_all(re.compile("a")) for item in t_list: print(item)

t_list = bs.find_all(["meta","link"]) for item in t_list: print(item)

def name_is_exists(tag): return tag.has_attr("name") t_list = bs.find_all(name_is_exists) for item in t_list: print(item)

t_list = bs.find_all(id="head") # 查询id=head的Tag t_list = bs.find_all(href=re.compile(http://news.baidu.com)) # 查询href属性包含ss1.bdstatic.com的Tag t_list = bs.find_all(class_=True) # 查询所有包含class的Tag(注意：class在Python中属于关键字，所以加_以示区别) for item in t_list: print(item)

t_list = bs.find_all(data-foo="value")

t_list = bs.find_all(attrs={"data-foo":"value"}) for item in t_list: print(item)

t_list = bs.find_all(text="hao123") t_list = bs.find_all(text=["hao123", "地图", "贴吧"]) t_list = bs.find_all(text=re.compile("\d"))

def length_is_two(text): return text and len(text) == 2 t_list = bs.find_all(text=length_is_two)

t_list = bs.find_all("a",limit=2)

# 下面两者是相等的 t_list = bs.find_all("a") t_list = bs("a"