我有一个爬行蜘蛛我设置了一个项目管道,我试图坚持通过MySQLdb。我搜遍了所有地方,我发现的大多数样本都至少有6个月大,都是以同样的方式使用adbapi。当我尝试使用相同的格式时,会出现以下错误:
AttributeError: 'module' object has no attribute 'DictCursor'
我看不出我做错了什么,但我对Python很陌生,对scrapy也很陌生,所以我完全有可能忽略了一些简单的事情。
from twisted.enterprise import adbapi
from scrapy import log
import MySQLdb.cursors
class InventoryPipeline(object):
def __init__(self):
self.pool = adbapi.ConnectionPool('MySQLdb',
db='inventory',
user='root',
passwd='',
cursorClass=MySQLdb.cursors.DictCursor,
charset="utf8",
use_unicode=True
)
def process_item(self, item, spider):
query = self.pool.runInteraction(self._insert_record, item)
query.addErrback(self._handle_error)
return item
def _insert_record(self, tx, item):
tx.execute("select * from content where url = %s", (item['url']))
result = tx.fetchone()
if result:
log.msg("url already in database", level=log.INFO)
else:
tx.execute("insert into content (url, title, link_content, main_content, header) values (%s, %s, %s, %s, %s)",
(item['url'], item['title'], item['link_content'], item['main_content'], item['header']))
log.msg("Item stored in db: %s" % item, level=log.INFO)
return item
def _handle_error(self, e):
log.err(e)
最佳答案
我也遇到过这个问题,我解决了。
你可以试试这个
从MySQLdb.cursors导入DictCursor
并将cursorClass更改为“cursorClass=DictCursor”
它在我的电脑上工作,我希望它也能帮助你和其他人