Python爬虫——使用requests和beautifulsoup4库来爬取指定网页的信息
- 以下是一个简单的Python代码，使用
requests和beautifulsoup4库来爬取指定网页的信息：
import requests
from bs4 import BeautifulSoupurl = "https://example.com"# 发送GET请求，获取网页内容
response = requests.get(url)# 将网页内容转化为BeautifulSoup对象，方便解析
soup = BeautifulSoup(response.content, "html.parser")# 找到所有<a>标签，打印出它们的文本内容和链接
for link in soup.find_all("a"):print(link.text.strip(), link.get("href"))
- 代码解释：
首先导入了
requests和beautifulsoup4库，用于向网站发送请求并解析网页内容。定义了要爬取的网页的URL地址。
使用
requests.get()方法向指定的URL发送GET请求，并将返回的响应对象赋值给变量response。将
response.content属性的内容传递给BeautifulSoup构造函数，创建一个soup对象。第二个参数"html.parser"指定使用Python内置的HTML解析器来解析网页内容。使用
soup.find_all("a")方法找到所有<a>标签，返回一个ResultSet对象，其中包含所有匹配的标签。对于每个匹配的标签，使用
.text属性获取其文本内容，并使用.get("href")方法获取其链接。最后，将标签的文本内容和链接打印出来。
.strip()方法用于去除文本内容中的空格和换行符。
需要注意的是，网站所有者可能对爬虫进行限制，需要遵守网站的规定并进行适当的处理。例如，可以在请求中包含User-Agent头来模拟浏览器访问，以避免被认为是机器人并被拒绝访问。