wrap+aria2c提高下载速度
最近在下载图片数据集,每个数据集动辄要三四十G,有些甚至是上百G。再加上有些数据集需要科学上网;如果按照原先KB的速度进行下载,怕是要下到猴年马月了。
于是,在试验了不少下载方式后,目前这种方法是最快的。
1. 安装warp
使用 WARP 脚本非常简单,只需要一行命令:
wget -N https://gitlab.com/fscarmen/warp/-/raw/main/menu.sh && bash menu.sh
2.安装aria2c
pip install aria2c
3.使用aria2c进行下载
aria2c -c -x 16 -s 16 ${file_name}
-c:指断点传输,可以接着之前未下载完的链接继续下载
-x:表示线程数量
-s:表示把文件分割成几分进行下载
最后,下载速度可以达到2~20MB之间;下载时间总算是以小时为单位了...