前段时间用scrapy尝试抓取一些数据， 但是！我没有存到数据库中，也就是说我只是确认了爬虫的代码没问题（草）
为什么我要用服务器的mysql，本地的不好吗？ 其实是我没有在本地装MySQL，但是我有服务器，再加上有phpmyadmin这么友好的web-base数据库管理工具，干嘛还折腾本地装软件
挖坑
其实刚开始写的时候，我是把数据库这模块的代码抛开的，链接数据库？不是很简单的事情吗，有啥好写的，首先打开搜索引擎，输入“ 如何用python连接远程mysql ”不就好了嘛！
然后我发现我看不懂，
填坑
后来经过了一路子的折腾，终于写好了，也连上了！
这里说一点不同的，在纯python上链接远程MySQL的代码，搬到scrapy上，是行不通的，虽然原理差不多，但还是得改
肯定是我搜索的姿势不正确，我找不到相关完整的scrapy链接远程mysql的参考，纯python的参考为居多。当时我另写了一个纯python测试链接，成功之后搬到scrapy的piplines.py上，Error警告啊
好了好了，不说废话了，回归正题
开搞
这里用到两个库，pymysql和sshtunnel
它是让你通过ssh安全通道访问远程服务器的python库
pymysql是在python3.5以上版本，用于链接MySQL的一个库，如果你是python3.4就装mysqldb这个库，（因为有很多参考上用的是mysqldb库）所以根据你的版本，不要装错了，不然就吃红条（错误）吧
代码
放置在piplines.py中
import pymysql
import sshtunnel
class SpiderPipeline(object):
server = sshtunnel.SSHTunnelForwarder(
('**.***.**.**', 22), #写你服务器的ip地址
ssh_username='**', #连接服务器的用户名
ssh_password='**', #连接服务器的密码
remote_bind_address=('**.***.**.**', 3306), #服务器ip
local_bind_address=('127.0.0.1', 3306)
)
server.start() #连接开启
print('SSH连接成功')
def __init__(self):
self.connect = pymysql.connect(
host='127.0.0.1',
port=3306,
user='***', # 数据库的用户名
database='***', # 数据库的库名
password='***', # 数据库密码
charset='utf8'
)
print('mysql数据库连接成功')
self.cursor = self.connect.cursor()
print('游标获取成功')
def process_item(self, item, spider):
#我这里写的是插入数据的sql语句
sql = """INSERT INTO charpter(CharterName,NovelName) VALUES ('%s','%s')""" % (item['charter_name'],item['book_name'])
#执行sql
self.cursor.execute(sql)
#提交数据
self.connect.commit()
print('数据插入成功')
return item
def close_spider(self,spider):
self.cursor.close() #关闭游标
self.connect.close() #关闭数据库链接
# server.stop() #关闭ssh链接这里就不多说废话了，看代码里面的注释基本能看懂了
我这种方式是同步存储，存储的速度相对慢一点，异步存储方式我还没去研究，这里给自己挖个坑，研究完异步存储我就另写一篇文哈哈哈
Mysql相关问题
如果发现代码无误的情况下，还是无法链接成功，这个时候就要看看你服务器的MySQL是否允许外来接入
mysql开放3306端口
要让MySQL允许链接，就要开放3306端口
- 查看端口是否打开
netstat -an|grep 3306- 打开MySQL配置文件
文件路径：/etc/mysql/my.cnf
将里面的bin-address = 127.0.0.1 注释掉
- 重启MySQL
service mysqld restart防火墙开放3306端口
- 查看firewalld状态
systemctl status firewalld- 开放3306端口
firewall-cmd --zone=public --add-port=3306/tcp --permanent- 重载
firewalld-cmd --reload小结
其实连接数据库还是挺简单的，至少代码一看就懂，细心还是很重要的。当死活连不上，死活报错的时候，反过来想，代码肯定没问题，应该是哪个数据库的表或字段没有和代码上的一一对应，密码有特殊符号但是没转义等等，除此之外剩下的就交给程序玄学了