python - 从属于该帖子的网站上获取第一张图片

我编写了一个程序，可以从博客或任何页面中获取所需的信息。我要实现的下一件事是从该页面检索属于相应帖子的第一张图像(就像分享帖子时的Facebook一样)。

我能够通过使用alt标签获取第一张图片在某种程度上实现了这一目标(由于许多网站的徽标和图标中没有alt标签，因此第一张图片应该属于该帖子)。但这在某些情况下似乎不起作用。还有其他(更好)的方法可以做到这一点吗？
我正在使用python 2.7.9和BeautifulSoup 4。

d = feedparser.parse('http://rss.cnn.com/rss/edition.rss')

for entry in d.entries:
    try:
        if entry.title is not None:
            print entry.title
            print ""
    except Exception, e:
        print e

    try:
        if entry.link is not None:
            print entry.link
            print ""
    except Exception, e:
        print e

    try:
        if entry.published[5:16] is not None:
            print entry.published[5:16]
            print ""
    except Exception, e:
        print e

    try:
        if  entry.category is not None:
            print entry.category
            print ""
    except Exception, e:
        print e

    try:
        if entry.get('summary', '') is not None:
            print entry.get('summary', '')
            print ""
    except Exception, e:
        print e

    time.sleep(5)

    r = requests.get(entry.link, headers = {'User-Agent' : 'Safari/534.55.3 '})
    soup = BeautifulSoup(r.text, 'html.parser')

    for img in soup.findAll('img'):
        if img.has_attr('alt'):
            if img['src'].endswith('.jpg') == True or img['src'].endswith('.png') == True:
                print img['src']
                break

最佳答案

看一下opengraph模块可能更实用:

https://pypi.python.org/pypi/opengraph/0.5

并按照自己喜欢的方式进行更正。

它将从HTML代码中获取“第一张图片”或使用og:image。

如果您想学习，也可以通过查看源代码来完成。该模块也使用BeautifulSoup。

我需要以下Monkeypatch来激活抓取作为后备:

import re
from bs4 import BeautifulSoup
from opengraph import OpenGraph

def parser(self, html):
    """
    """
    if not isinstance(html,BeautifulSoup):
        doc = BeautifulSoup(html, from_encoding='utf-8')
    else:
        doc = html
    ogs = doc.html.head.findAll(property=re.compile(r'^og'))
    for og in ogs:
        self[og[u'property'][3:]]=og[u'content']

    # Couldn't fetch all attrs from og tags, try scraping body
    if not self.is_valid() and self.scrape:
        for attr in self.required_attrs:
            if not hasattr(self, attr):
                try:
                    self[attr] = getattr(self, 'scrape_%s' % attr)(doc)
                except AttributeError:
                    pass


OpenGraph.parser = parser
OpenGraph.scrape = True   # workaround for some subtle bug in opengraph

您可能需要处理图像源中的亲戚URL，但是使用urlparse中的urljoin非常简单

import opengraph
...
page = opengraph.OpenGraph(url=link, scrape=True)
...
if page.is_valid():
    ...
    image_url = page.get('image', None)
    ...
    if not image_url.startswith('http'):
        image_url = urljoin(page['_url'], page['image'])

(为简洁起见，省略了一些检查)

关于python - 从属于该帖子的网站上获取第一张图片，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/33597225/