【笔记】30行代码，低内存占用解读超大csv文件

本文来源吾爱破解论坛

[Python] 纯文本查看 复制代码

import shleximport datetime

if __name__ == "__main__":
    File_All_Path = r"D:\1000W行.csv"  # 以二进制方式读取文件
    File_ID = open(File_All_Path, "rb")
    LineNumber = 0  # 创建行号变量
    Read_Title = False  # 创建是否读标题变量
    Start_Time = datetime.datetime.now()  # 计时开始
    Line_Decode = "GBK"  # 设置编码
    while 1:
        Line_Byte = File_ID.readline()  # 读入一行二进制内容
        if not Line_Byte: break  # 判断二进制文本是否为空，为空则到文件尾部，跳出循环
        RowTest = Line_Byte.decode(Line_Decode).rstrip()  # 编码转换，并去除尾部的换行符号
        LineNumber += 1  # 行号变量自增
        if LineNumber == 1 and Read_Title == False: continue  # 是否读取第1行标题
        if LineNumber == 1000000:  # 读取第100W行内容
            str = shlex.shlex(RowTest, posix=True)  # 解析行内容数据，以逗号分割，不分割引号内容中的逗号
            str.whitespace = ','
            str.whitesapce_split = True
            ListTest = list(str)
            print(LineNumber, ListTest)
    End_Time = datetime.datetime.now()
    print("耗时:", End_Time - Start_Time)
    File_ID.close()