我在一个文本文件中列出了50多个url(每行一个url)。现在,对于每个url,我想提取web站点的文本并保存下来。这听起来像是linux中shell脚本的工作。
目前我正在整理:
通过saysed -n 1p listofurls.txt我可以读取url文件中的第一行,listofurls.txt
使用lynx -dump www.firsturl...我可以通过各种命令使用管道输出来整理和清理它。完成了,成功了。
在实现自动化之前,我正在努力将url导入lynx:比如

sed -n 1p listofurls.txt | lynx -dump -stdin

不起作用。
对于一个url,更重要的是对于listofurls.txt中的每个url,我如何做到这一点?

最佳答案

你可以这样写剧本

vi script.sh

#content of script.sh#
while read line
do
    name=$line
    wget $name
    echo "Downloaded content from - $name"
done < $1
#end#

chmod 777 script.sh

./script.sh listofurls.txt

关于linux - 如何在Linux中使用lynx/w3m提取多个URL的文本,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/24466404/

10-10 01:00