Python文件处理

一、字符编码

Python3中str都是Unicode编码的，所以Python3中的str类型的数据可以编码成其他字符编码的格式，编码的结果为bytes类型。

# coding:gbk
x = '上'  # 当程序执行时，无需加u，'上'也会被以Unicode形式保存新的内存空间中,
print(type(x))  # <class 'str'>

# x可以直接encode成任意编码格式
print(x.encode('gbk'))  # b'\xc9\xcf'
print(type(x.encode('gbk')))  # <class 'bytes'>

二、基本的文件操作

1、读文件

# read模式打开文件
f = open(r'/Users/mac/desktop/jupyter/pythonCourseware/32.txt', mode='r')
# 读取文件内容，向操作系统发起读请求，会被操作系统转成具体的硬盘操作，将内容由硬盘读入内存
data = f.read()
print(data)
# 由于Python的垃圾回收机制只回收引用计数为0的变量，但是打开文件还占用操作系统的资源，所以我们需要回收操作系统的资源资源
# del f 只是回收变量f
f.close()

2、写文件：

# write模式打开文件
f = open(r'/Users/mac/desktop/jupyter/pythonCourseware/32.txt', mode='w')
f.write("""name = 'nick'
pwd = '123'""")
f.close()
f = open(r'/Users/mac/desktop/jupyter/pythonCourseware/32.txt', mode='r')
data = f.read()
print(data)

三、文件的三种打开模式

文件操作的基础模式有三种（默认的操作模式为r模式）：

• r模式为read：（默认）只读模式，只能读不能写，文件不存在时报错。
• w模式为write
• a模式为append

文件读写内容的格式有两种（默认的读写内容的模式为b模式）：

• t模式为text（默认）
• b模式为bytes

需要注意的是：t、b这两种模式均不能单独使用，都需要与r/w/a之一连用。

1、文件打开模式之r模式

读文本

# rt: read by text
# windows的操作系统默认编码为gbk，因此需要使用utf8编码
f = open('32.txt', mode='rt', encoding='utf8')
data = f.read()
print(data) #nick最帅吗
print(f"type(data): {type(data)}") #type(data): <class 'str'>
f.close()

读字节

# rb: read by bytes
f = open('32.txt', mode='rb')
data = f.read()
print(data) #b'aaa\nbbb\nccc\nnick\xe6\x9c\x80\xe5\xb8\x85\xe5\x90\x97'
print(f"type(data): {type(data)}") #type(data): <class 'bytes'>
f.close()

f.read():一次性读取文件的所有内容，如果文件非常大的话，可能会造成内存爆掉，即电脑卡死。因此可以使用f.readline()/f.readlines()读取文件内容。

# f.readline()/f.readlines()
f = open('32.txt', mode='rt', encoding='utf8')
print(f.readable())  #True 判断文件是否可读
data1 = f.readline()
data2 = f.readlines()
print(f"data1: {data1}") # aaa
print(f"data2: {data2}") # ['bbb\n', 'ccc\n', 'nick最帅吗']
f.close()

2、文件打开模式之w模式

只能写，不能读，文件存在的时候回清空文件后再写入内容；文件不存在的时候会创建文件后写入内容。

文本模式

f = open('34w.txt', mode='wt', encoding='utf8')
print(f"f.readable(): {f.readable()}") #False
f.write('nick 真帅呀\n')  # '\n'是换行符
f.write('nick,nick, you drop, I drop.')
f.write('nick 帅的我五体投地')
f.flush()  # 立刻将文件内容从内存刷到硬盘
f.close()

字节模式

f = open('34a.txt', mode='wb')
f.write('nick 帅的我五体投地'.encode('unicode_escape'))  # 编码成bytes类型
print(type('nick 帅的我五体投地'.encode('unicode_escape'))) #<class 'bytes'>
f.close()

b模式是通用的模式，因为所有的文件在硬盘中都是以二进制的形式存储的，需要注意的是：b模式读写文件，一定不能加上encoding参数，因为二进制无法再编码。

try:
    import requests

    response = requests.get(
        'http://www.chenyoude.com/Python从入门到放弃/文件的三种打开模式-mv.jpg?x-oss-process=style/watermark')
    data = response.content

    f = open('mv.jpg?x-oss-process=style/watermark', 'wb')
    f.write(data)
    print('done...')
    f.close()
except Exception as e:
    print(e, '报错了，那就算了吧，以后爬虫处会详细介绍')

3、文件打开模式之a模式

a: 可以追加。文件存在，则在文件的末端写入内容；文件不存在的时候会创建文件后写入内容。

# at
f = open('34a.txt', mode='at', encoding='utf8')
print(f.readable()) # False
f.write('nick 真帅呀\n')  # '\n'是换行符
f.write('nick,nick, you drop, I drop.')
f.write('nick 帅的我五体投地')
f.close()

4、可读、可写

• r+t: 可读、可写
• w+t: 可写、可读
• a+t: 可追加、可读

# r+t
with open('32.txt', 'r+t', encoding='utf-8') as fr:
    print(fr.readable())  # True
    print(fr.writable())  # True

四、with管理文件操作上下文

with open()方法不仅提供自动释放操作系统占用的方法，并且with open可以使用逗号分隔，一次性打开多个文件，实现文件的快速拷贝。

with open('32.txt', 'rt', encoding='utf8') as f:
    print(f.read())

with open('32.txt', 'rb') as fr, \
        open('35r.txt', 'wb') as fw:
    f.write(f.read())

五、文件指针操作

1.seek(offset,whence):
offset代表文件指针的偏移量，偏移量的单位是字节个数

with open('32.txt', 'rb') as fr:
    print(fr.seek(4, 0))  # 4, 0相当于文件头开始；1相当于当前文件所在位置；2相当于文件末尾
    print(fr.seek(0, 2))  # 28 切换到文件末尾

2.tell():
每次统计都是从文件开头到当前指针所在位置

with open('32.txt', 'rb') as fr:
    fr.seek(4, 0)
    print(fr.tell())  # 4

3.read(n):
读几个字符。只有在模式下的read(n)，n代表的是字符个数，除此之外，其他但凡涉及文件指针的都是字节个数

with open('32.txt', 'rt', encoding='utf-8') as fr:
    print(fr.read(3))  # aaa

4.truncate(n):
truncate(n)是截断文件，所以文件的打开方式必须可写，但是不能用w或w+等方式打开，因为那样直接清空文件了，所以truncate()要在r+或a或a+等模式下测试效果。它的参照物永远是文件头。并且truncate()不加参数，相当于清空文件。

with open('32.txt', 'ab') as fr:
    fr.truncate(2)  # 截断2个字节后的所有字符，如果3个字节一个字符，只能截断2/3个字符，还会遗留1/3个字符，会造成乱码

六、文件修改的两种方式

以读的方式打开原文件，以写的方式打开一个新的文件，把原文件的内容进行修改，然后写入新文件，之后利用os模块的方法，把原文件删除，重命名新文件为原文件名，达到以假乱真的目的。

方式1、将硬盘存放的该文件的内容全部加载到内存，在内存中是可以修改的，修改完毕后，再由内存覆盖到硬盘（word，vim，nodpad++等编辑器）。

import os

with open('37r.txt') as fr, \
        open('37r_swap.txt', 'w') as fw:
    data = fr.read()  # 全部读入内存,如果文件很大,会很卡
    data = data.replace('tank', 'tankSB')  # 在内存中完成修改

    fw.write(data)  # 新文件一次性写入原文件内容

# 删除原文件
os.remove('37r.txt')
# 重命名新文件名为原文件名
os.rename('37r_swap.txt', '37r.txt')

方式2、将硬盘存放的该文件的内容一行一行地读入内存，修改完毕就写入新文件，最后用新文件覆盖源文件。

import os

with open('37r.txt') as fr,\
        open('37r_swap.txt', 'w') as fw:
    # 循环读取文件内容，逐行修改
    for line in fr:
        line = line.replace('jason', 'jasonSB')
        # 新文件写入原文件修改后内容
        fw.write(line)

os.remove('37r.txt')
os.rename('37r_swap.txt', '37r.txt')