用python快速读取大文件几个GB以上的csv数据文件
遇到几个GB的csv大文件，用python读取时，可以通过next()函数一行行来读取以提高效率，然后分批量进行处理。
1、文件格式例图
其中第一、第二行是数据行数、列数汇总。
2、流程
1、把csv第一、第二行的数据说明，先读取出来并转换成字典
2、循环行数，使用next()一行行读取
3、把读取出来的数据分批量进行处理
4、比如画图显示、滤波处理等
3、代码
# -*- coding: utf-8 -*-
"""
@contact: 微信 1257309054
@file: 读取与写入csv.py
@time: 2024/4/16 18:25
@author: LDC
"""
import csv
import numpy as np
import re