python - 使用Python Beautiful Soup在Web上抓取数据-无法提取字段

我正在尝试使用Python Beautiful Soup从IG索引页面中提取代码（南非40）字段，但我无法检索它。

我试图从中获取数据的网页是https://www.ig.com/uk/ig-indices/south-africa-40?siteId=igm

带有代码数据的HTML代码：

<div class="ma-content title">
    <h1>South Africa 40</h1>

        <p>
            .........some text..........
        </p>

</div>

我已经试过了：

name = soup.select('div.ma-content title h1')[0].text

但收到错误消息：


  追溯（最近一次通话）：文件
  第30行中的“ IGIndexDataScrape_Minute_v0.1.py”
      名称= soup.select（'div.ma-内容标题h1'）[0] .text IndexError：列表索引超出范围


上面的任何建议/代码更正将非常有帮助。

这是直接复制和粘贴的完整代码：

import urllib2
from bs4 import BeautifulSoup

import csv
from datetime import datetime

from lxml import html
import requests

quote_page = ['https://www.ig.com/uk/ig-indices/south-africa-40?siteId=igm']

data = []
for pg in quote_page:
page = urllib2.urlopen(pg)

soup = BeautifulSoup(page, 'html.parser')

name = soup.select('div.ma-content title h1')[0].text

sell_price = soup.find('span', attrs={'class':'price', 'id':'bid'}).text
data.append(sell_price)

buy_price = soup.find('span', attrs={'class':'price', 'id':'ofr'}).text
data.append(buy_price)

print sell_price + "\t\t" + buy_price + name

#    data.append(name, sell_price, buy_price)
#    print name + "\t\t" + sell_price + "\t\t" + buy_price

最佳答案

您是否尝试过find_all而不是select？就像是：

name_div = soup.find_all('div', {'class': 'ma-content title'})[0]
name = name_div.find('h1').text