Linux 平台使用 curl 批量下载文件
将下载地址按每一行一个链接,保存到文件 download.txt 中。如何使用 curl 下载每一行的下载地址链接?
可以使用 curl 命令结合 bash 循环,读取 download.txt 中的每一行并逐行下载。假设 download.txt 文件中的内容类似于以下格式:
http://example.com/file1.zip
http://example.com/file2.zip
http://example.com/file3.zip
可以使用以下命令来批量下载文件:
while IFS= read -r url; do
curl -O "$url"
done < download.txt
解释:
while IFS= read -r url; do ... done < download.txt:逐行读取 download.txt 文件中的内容,每一行的内容会被存储到变量 url 中。
curl -O "$url":使用 curl 命令下载 url 中的链接文件。-O 选项会将文件保存为远程服务器上的文件名。
其他注意事项
- 确保
download.txt 文件中的链接是有效的。
- 如果有很多链接需要下载,可以考虑用
xargs 来并行加速下载。
例如,可以使用以下命令来并行下载文件(假设你的系统支持 xargs 并发):
xargs -n 1 -P 4 curl -O < download.txt
-n 1:表示每次传递一个链接给 curl。
-P 4:表示并发数为 4(可以根据你的网络条件调整该参数)。