python2.7 爬虫_爬取小说盗墓笔记章节及URL并导入MySQL数据库_20161201

1、爬取页面 http://www.quanshu.net/book/9/9055/

2、用到模块urllib（网页下载),re正则匹配取得title及titleurl,urlparse(拼接完整url),MySQLdb(导入MySQL） 数据库

3、for 循环遍历列表 取得盗墓笔记章节title 和 titleurl

4、try except 异常处理

5、python 代码

#-*-coding: utf-8 -*-

import urllib

import re

import urlparse

import MySQLdb

rooturl='http://www.quanshu.net/book/9/9055/'

#getlist返回包含title 和titleurl的列表

def getlist(url):

    html=urllib.urlopen(url).read()

    html=html.decode('gb2312').encode('utf-8')

    reg=r'<li><a href="(.*?)" title=".*?">(.*?)</a></li>'

    return re.findall(reg,html)

try:

    conn = MySQLdb.connect(host='localhost', user='root', passwd='Admin@', db='local_db', port=3306, charset='utf8')

    with conn:

        cursor = conn.cursor()

        #如果存在daomubiji数据表先删除

        drop_table_sql='DROP  TABLE IF EXISTS daomubiji'

        cursor.execute(drop_table_sql)

        conn.commit()

        #如果存在daomubiji数据表 先删除后接着创建daomubiji表

        create_table_sql = '''

           CREATE TABLE daomubiji (

           ID INT(11),

           title VARCHAR(255),

           titleurl VARCHAR(255)

           )ENGINE=INNODB DEFAULT CHARSET=utf8

        '''

        cursor.execute(create_table_sql)

        conn.commit()

        #下面调用getlist(）函数获取rooturl下所有章节的titleurl 和title 组成的列表

        urllist = getlist(rooturl)

        #href属性取得的url不完整 仅取出了完整url的右半段 因此下面for循环变量名起名righturl

        ID=0

        #对列表进行遍历 取 titleurl 和title

        for righturl in urllist:

            title = righturl[1]

            newurl = righturl[0]

            #urlparse 模块的urlparse.urljoin方法将righturl 按照rooturl格式拼接成完整url

            titleurl = urlparse.urljoin(rooturl, newurl)

            ID+=1

            print ID,title, titleurl

            cursor.execute("INSERT INTO  daomubiji values(%s,%s,%s)", (ID,title, titleurl))

            conn.commit()

        print "输入了"+ str(ID) +"条数据"

except MySQLdb.Error:

    print "连接失败！"

　　

代码执行情况：

6、MySQL数据库查询是否导入成功

SELECT * FROM daomubiji

　　

 7、执行成功