mysql - 通过pymysql更新具有多个进程的MYSQL表

实际上，我正在尝试通过pymysql用多个进程更新一个表，并且每个进程读取从一个大文件中拆分出来的CSV文件，以提高速度。但是运行脚本时得到Lock wait timeout exceeded; try restarting transaction exception。在此站点上搜索帖子后，我发现了一篇提到设置或构建built-in LOAD_DATA_INFILE的帖子，但没有详细信息。如何使用“ pymysql”实现目标？

---------------------------第一次编辑--------------------- -------------------

这是工作方法：

`def importprogram(path, name):
    begin = time.time()
    print('begin to import program' + name + ' info.')
    # "c:\\sometest.csv"
    file = open(path, mode='rb')
    csvfile = csv.reader(codecs.iterdecode(file, 'utf-8'))

    connection = None
    try:
        connection = pymysql.connect(host='a host', user='someuser', password='somepsd', db='mydb',
                                 cursorclass=pymysql.cursors.DictCursor)
        count = 1
        with connection.cursor() as cursor:
            sql = '''update sometable set Acolumn='{guid}' where someid='{pid}';'''
            next(csvfile, None)
            for line in csvfile:
                try:
                    count = count + 1
                    if ''.join(line).strip():
                        command = sql.format(guid=line[2], pid=line[1])
                        cursor.execute(command)
                    if count % 1000 == 0:
                        print('program' + name + ' cursor execute', count)
                except csv.Error:
                    print('program csv.Error:', count)
                    continue
                except IndexError:
                    print('program IndexError:', count)
                    continue
                except StopIteration:
                    break
    except Exception as e:
        print('program' + name, str(e))
    finally:
        connection.commit()
        connection.close()
        file.close()
    print('program' + name + ' info done.time cost:', time.time()-begin)`

以及多种处理方法：

import multiprocessing as mp
def multiproccess():
    pool = mp.Pool(3)
    results = []
    paths = ['C:\\testfile01.csv', 'C:\\testfile02.csv', 'C:\\testfile03.csv']
    name = 1
    for path in paths:
        results.append(pool.apply_async(importprogram, args=(path, str(name))))
        name = name + 1

    print(result.get() for result in results)
    pool.close()
    pool.join()

和主要方法：

if __name__ == '__main__':
    multiproccess()

我是Python的新手。我该如何编写代码或错误本身的方式？我是否应该仅使用一个过程来完成数据读取和导入？

最佳答案

您的问题是您超出了从服务器获取响应所允许的时间，因此客户端会自动超时。
以我的经验，将等待超时调整为6000秒左右，合并为一个CSV，然后只保留要导入的数据。另外，我建议直接从MySQL而不是Python运行查询。

我通常将CSV数据从Python导入MySQL的方式是通过INSERT ... VALUES ...方法，并且仅在需要对数据进行某种类型的操作（即将不同的行插入不同的表）时才这样做。

我喜欢您的方法并理解您的想法，但实际上没有必要。 INSERT ... VALUES ...方法的好处是您不会遇到任何超时问题。

关于mysql - 通过pymysql更新具有多个进程的MYSQL表，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/53953484/