Linux 平台使用 curl 批量下载文件
将下载地址按每一行一个链接,保存到文件 download.txt
中。如何使用 curl 下载每一行的下载地址链接?
可以使用 curl
命令结合 bash
循环,读取 download.txt
中的每一行并逐行下载。假设 download.txt
文件中的内容类似于以下格式:
http://example.com/file1.zip
http://example.com/file2.zip
http://example.com/file3.zip
可以使用以下命令来批量下载文件:
while IFS= read -r url; do
curl -O "$url"
done < download.txt
解释:
while IFS= read -r url; do ... done < download.txt
:逐行读取 download.txt
文件中的内容,每一行的内容会被存储到变量 url
中。
curl -O "$url"
:使用 curl
命令下载 url
中的链接文件。-O
选项会将文件保存为远程服务器上的文件名。
其他注意事项
- 确保
download.txt
文件中的链接是有效的。
- 如果有很多链接需要下载,可以考虑用
xargs
来并行加速下载。
例如,可以使用以下命令来并行下载文件(假设你的系统支持 xargs
并发):
xargs -n 1 -P 4 curl -O < download.txt
-n 1
:表示每次传递一个链接给 curl
。
-P 4
:表示并发数为 4(可以根据你的网络条件调整该参数)。