利用Readability解决网页正文提取问题

分享: 利用Readability解决网页正文提取问题

 

做数据抓取和分析的各位亲们, 有没有遇到下面的难题呢?

- 如何从各式各样的网页中提取正文!?

虽然可以用SS为各种网站写脚本做解析, 但是互联网各类网站何止千万种, 纵使累死我们也是做不完的. 这里我给大家热情推荐使用Readability来彻底解决这个难题 (呵呵, 不是做广告, 真心热爱这个好东东)

Raedability网站(www.readability.com)最引以为傲的就是其强大的解析引擎, 号称世界上最强大的文本解析神器. Safari中的"阅读器"功能就是用它来实现的! 他们还提供了API可以调用解析器的功能, 而我做了一个c#的代理类来方便大家使用.

开始之前请大家自行注册readability并申请appkey, 免费的.

代理类代码:

public static class ReadabilityProxy

{

    public static Article Parse(string url, string token) //token就是各位的appkey

    {

        WebClient wc = new WebClient();

        wc.Encoding = Encoding.UTF8;

        var encUrl = HttpUtility.UrlEncode(url);

        Uri u = new Uri(string.Format("https://readability.com/api/content/v1/parser?url={0}&token={1}", encUrl, token));

        var json = wc.DownloadString(u);

        JavaScriptSerializer se = new JavaScriptSerializer();

        return se.Deserialize(json, typeof(Article)) as Article;

    }

}

public class Article

{

    public string Domain;

    public string Next_Page_Id;

    public string Url;

    public string Content;

    public string Short_Url;

    public string Excerpt;

    public string Direction;

    public int Word_Count;

    public int Total_Pages;

    public string Date_Published;

    public string Dek;

    public string Lead_Image_Url;

    public string Title;

    public int Rendered_Pages;

    public virtual void Decode()

    {

        this.Excerpt = HttpUtility.HtmlDecode(this.Excerpt);

        this.Content = HttpUtility.HtmlDecode(this.Content);

    }

}

由于readability返回的Content, Excerpt都是编码过的, 因此我提供了Article.Decode方法来解码.

在ConsoleApp中测试效果:

class Program

{

    static void Main(string[] args)

    {

        var article = ReadabilityProxy.Parse("http://www.mot.gov.cn/st2010/shanghai/sh_zhaobiaoxx/201203/t20120330_1219097.html", "***此处省略n个字***");

        article.Decode();

        Console.WriteLine(article.Title);

        Console.WriteLine(article.Excerpt);

        Console.WriteLine(article.Content);

        Console.ReadLine();

    }

}

怎么样? 效果不错吧, 赶快试试吧!

 

 

分类: Spider Studio