如何使用aiohttp或requests-async等库并发地执行多个HTTP请求
在Python中，要并发地执行多个HTTP请求，可以使用aiohttp这样的异步HTTP客户端库，因为它支持异步编程，能够显著提高IO密集型任务的性能，比如网络请求。requests-async并不是一个广泛认知的库（虽然可能存在类似名称的库或自定义实现），但通常我们会使用aiohttp或httpx（后者也支持异步和同步请求）来实现异步HTTP请求。
以下是如何使用aiohttp来并发执行多个HTTP请求的示例：
安装aiohttp
首先，确保安装了aiohttp：
bash复制代码
pip install aiohttp |
示例代码
python复制代码
import aiohttp | |
import asyncio | |
async def fetch(session, url): | |
async with session.get(url) as response: | |
return await response.text() | |
async def main(): | |
urls = [ | |
'http://httpbin.org/get', | |
'http://httpbin.org/ip', | |
'http://httpbin.org/headers', | |
] | |
async with aiohttp.ClientSession() as session: | |
tasks = [fetch(session, url) for url in urls] | |
# 使用 asyncio.gather 来并发执行所有任务 | |
results = await asyncio.gather(*tasks) | |
for result in results: | |
print(result) | |
# Python 3.7+ | |
asyncio.run(main()) |
解释
-
导入必要的库：导入
aiohttp和asyncio。 -
定义异步函数：
fetch是一个异步函数，它接收一个aiohttp.ClientSession和一个URL，然后使用这个会话来发送GET请求并返回响应的文本内容。 -
主函数：
main函数是异步的，它首先定义了一个URL列表。然后，它使用aiohttp.ClientSession()创建了一个会话，并使用列表推导式为每个URL创建了一个fetch任务。 -
并发执行：使用
asyncio.gather来并发执行所有任务。asyncio.gather会等待所有任务完成，并返回一个包含所有任务结果的列表。 -
输出结果：遍历
results列表并打印每个结果。 -
运行主函数：使用
asyncio.run(main())来运行主函数。这是Python 3.7及以上版本中推荐的启动异步事件循环的方式。
注意事项
- 异步编程需要一定的时间来适应和理解，特别是当涉及到错误处理和资源管理（如会话和连接）时。
aiohttp库非常强大，支持许多高级功能，如Websockets、HTTP/2等。- 在生产环境中，你可能需要更复杂的错误处理和重试逻辑来确保请求的成功和系统的稳定性。