我在一个文本文件中列出了50多个url(每行一个url)。现在,对于每个url,我想提取web站点的文本并保存下来。这听起来像是linux中shell脚本的工作。
目前我正在整理:
通过saysed -n 1p listofurls.txt
我可以读取url文件中的第一行,listofurls.txt
使用lynx -dump www.firsturl...
我可以通过各种命令使用管道输出来整理和清理它。完成了,成功了。
在实现自动化之前,我正在努力将url导入lynx:比如
sed -n 1p listofurls.txt | lynx -dump -stdin
不起作用。
对于一个url,更重要的是对于
listofurls.txt
中的每个url,我如何做到这一点? 最佳答案
你可以这样写剧本
vi script.sh
#content of script.sh#
while read line
do
name=$line
wget $name
echo "Downloaded content from - $name"
done < $1
#end#
chmod 777 script.sh
./script.sh listofurls.txt
关于linux - 如何在Linux中使用lynx/w3m提取多个URL的文本,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/24466404/