唉,我还有一个问题:
我的任务是阅读网页并从该页面中提取链接(使用 HTML::TokeParser 很容易)。然后他(我的老板)坚持要求我从这些链接中读取并从每个页面中获取一些详细信息,并将所有这些信息解析为一个 xml 文件,稍后可以读取该文件。
所以,我可以像这样简单地设置它:
#!/usr/bin/perl -w
use strict;
use LWP::Simple;
require HTML::TokeParser;
$|=1; # un buffer
my $base = 'http://www.something_interesting/';
my $path = 'http://www.something_interesting/Default.aspx';
my $rawHTML = get($path); # attempt to d/l the page to mem
my $p = HTML::TokeParser->new(\$rawHTML) || die "Can't open: $!";
open (my $out, "> output.xml") or die;
while (my $token = $p->get_tag("a")) {
my $url = $token->[1]{href} || "-";
if ($url =~ /event\.aspx\?eventid=(\d+)/) {
( my $event_id = $url ) =~ s/event\.aspx\?eventid=(\d+)/$1/;
my $text = $p->get_trimmed_text("/a");
print $out $event_id,"\n";
print $out $text,"\n";
my $details = $base.$url;
my $contents = get($details);
# now set up another HTML::TokeParser, and parse each of those files.
}
}
如果此页面上可能有 5 个链接,这可能没问题。但是,我正在尝试从大约 600 个链接中读取信息,并从每个页面中获取信息。所以,不用说,我的方法需要很长时间......老实说我不知道多久,因为我从来没有让它完成。
我的想法是简单地编写一些只根据需要获取信息的东西(例如,一个从您想要的链接中查找信息的 Java 应用程序)......但是,这似乎是 Not Acceptable ,所以我'我转向你们:)
有没有办法改进这个过程?
最佳答案
如果您并行而不是顺序执行 get()
,您可能会看到速度提升——但代码不那么简单。
Parallel::ForkManager 是我要开始的地方(甚至在其文档中包含一个 LWP::Simple get()
示例),但在 CPAN 上还有很多其他替代方案,包括相当过时的 LWP::Parallel::UserAgent 。
关于perl - 提高 LWP::Simple perl 性能,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/6473785/