使用python获取百度一下，热搜TOP数据详情
一、查找对应链接
# 警告：以下代码仅供学习和交流使用，严禁用于任何违法活动。
# 本代码旨在帮助理解和学习编程概念，不得用于侵犯他人权益或违反法律法规的行为。
1、打开百度页面 百度一下，你就知道
2、点击F12 或 右键鼠标选择下方的检查 进入 调试模式
3、选择Network 选项，点击显示全部信息 all 完成第二步后，点击左上角的刷新或快捷键 Ctrl+R 进行刷新，就会出现第三个点的信息
我们可以看到显示的信息，正是我们所需要的，证明这就是我们需要的目标链接
4、点回 Headers 看一下资源链接和请求方式，方便后续操作
可以看到，请求链接为：百度一下，你就知道 请求方式为：GET 请求状态码为 200表示成功
回到我们的IDE编辑器中，开始动手敲代码
二、编辑代码
1、导入第三方库 requests 这是一个用于请求网页链接获取对应信息的第三方库，导入前需要在终端中进行安装
pip install requests
2、向对应链接发送请求，并查看状态码，若是200 表示请求成功
这时的内容还是比较混乱的，我们需要对信息做一步清洗，提取所需要的一部分内容
3、目标url
url = "https://www.baidu.com/"4、构造请求头，为防止服务器识别到异常请求而不返回数据，我们需要模拟浏览器发送请求
#构建请求头 模拟浏览器发送请求 否者会被检测到 返回信息就为空
headers = {"user-agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/129.0.0.0 Safari/537.36"
}5、使用正则表达式，提取热搜的内容部分 正则表达式返回的数据类型为列表
#清洗源码 提取关键信息
re_title = re.findall('"card_title": "(.*?)"',response) #获取热搜标题
re_linkurl = re.findall('"linkurl": "(.*?)"',response) #热搜对应链接
re_index = re.findall('"index": "(.*?)"',response) #热搜排名
6、打印后，发现百度热搜的链接做了百分比加密，无法直接使用，需要进一步解密
from urllib.parse import unquote_plus #导入解码库 默认链接采用了百分比编码，无法直接使用，需要进行解码
# 包含URL编码的字符串
encoded_url_list = re_linkurl
list_url = [] #创建一个列表用户存放解码后的链接
for i in encoded_url_list: #遍历url列表decoded_url = unquote_plus(i) # 使用unquote_plus函数解码URL print(decoded_url) # 打印解码后的URLlist_url.append(decoded_url) #将解码后的链接放入列表中
print(len(list_url)) #查看列表长度 信息是否完全获取三、完整代码
'''
# 警告：以下代码仅供学习和交流使用，严禁用于任何违法活动。
# 本代码旨在帮助理解和学习编程概念，不得用于侵犯他人权益或违反法律法规的行为。
'''
import requests #导入第三方请求库
import re
#目标url
url = "https://www.baidu.com/"
#构建请求头 模拟浏览器发送请求 否者会被检测到 返回信息就为空
headers = {"user-agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/129.0.0.0 Safari/537.36"
}
#发送请求 获取网页源码
response = requests.get(url,headers=headers).text
#清洗源码 提取关键信息
re_title = re.findall('"card_title": "(.*?)"',response) #获取热搜标题
re_linkurl = re.findall('"linkurl": "(.*?)"',response) #热搜对应链接
re_index = re.findall('"index": "(.*?)"',response) #热搜排名
print(re_index,re_title,re_linkurl)
from urllib.parse import unquote_plus #导入解码库 默认链接采用了百分比编码，无法直接使用，需要进行解码
# 包含URL编码的字符串
encoded_url_list = re_linkurl
list_url = [] #创建一个列表用户存放解码后的链接
for i in encoded_url_list: #遍历url列表print(i)# 使用unquote_plus函数解码URLdecoded_url = unquote_plus(i) # 打印解码后的URLprint(decoded_url)list_url.append(decoded_url) #将解码后的链接放入列表中
print(len(list_url)) #查看列表长度 信息是否完全获取# 警告：以下代码仅供学习和交流使用，严禁用于任何违法活动。
# 本代码旨在帮助理解和学习编程概念，不得用于侵犯他人权益或违反法律法规的行为。