Python 类将数据库中的所有表转换为 Pandas 数据帧

我正在努力实现以下目标。我想创建一个 python 类，将数据库中的所有表转换为 Pandas 数据帧。

这就是我这样做的方式，这不是很通用......

class sql2df():
    def __init__(self, db, password='123',host='127.0.0.1',user='root'):
        self.db = db

        mysql_cn= MySQLdb.connect(host=host,
                        port=3306,user=user, passwd=password,
                        db=self.db)

        self.table1 = psql.frame_query('select * from table1', mysql_cn)
        self.table2 = psql.frame_query('select * from table2', mysql_cn)
        self.table3 = psql.frame_query('select * from table3', mysql_cn)

现在我可以像这样访问所有表:

my_db = sql2df('mydb')
my_db.table1

我想要这样的东西:

class sql2df():
    def __init__(self, db, password='123',host='127.0.0.1',user='root'):
        self.db = db

        mysql_cn= MySQLdb.connect(host=host,
                        port=3306,user=user, passwd=password,
                        db=self.db)
        tables = (""" SELECT TABLE_NAME FROM information_schema.TABLES WHERE TABLE_SCHEMA = '%s' """ % self.db)
        <some kind of iteration that gives back all the tables in df as class attributes>

建议是最受欢迎的...

最佳答案

我会为此使用 SQLAlchemy:

engine = sqlalchemy.create_engine("mysql+mysqldb://root:[email protected]/%s" % db)

注意 syntax 是方言+驱动程序://用户名:密码@主机:端口/数据库。

def db_to_frames_dict(engine):
    meta = sqlalchemy.MetaData()
    meta.reflect(bind=engine)
    tables = meta.sorted_tables
    return {t: pd.read_sql('SELECT * FROM %s' % t.name,
                           engine.raw_connection())
                   for t in tables}
    # Note: frame_query is depreciated in favor of read_sql

这将返回一个字典，但您同样可以将这些作为类属性(例如，通过更新类 dict 和 __getitem__ )

class SQLAsDataFrames:
    def __init__(self, engine):
        self.__dict__ = db_to_frames_dict(engine)  # allows .table_name access
    def __getitem__(self, key):                    # allows [table_name] access
        return self.__dict__[key]

在 pandas 0.14 中，sql 代码已被重写以获取引擎，并且 IIRC 有所有表和读取所有表的帮助程序(使用 read_sql(table_name) )。