数据集下载地址:
链接:https://pan.baidu.com/s/1l1AnBgkAAEhh0vI5_loWKw
提取码:2xq4
猫狗数据集的分为训练集25000张,在训练集中猫和狗的图像是混在一起的,pytorch读取数据集有两种方式,第一种方式是将不同类别的图片放于其对应的类文件夹中,另一种是实现读取数据集类,该类继承torch.utils.Dataset,并重写__getitem__和__len__。
先将猫和狗从训练集中区分开来,分别放到dog和cat文件夹下:
import glob
import shutil
import os #数据集目录
path = "./ml/dogs-vs-cats/train"
#训练集目录
train_path = path+'/train'
#测试集目录
test_path = path+'/test' #将某类图片移动到该类的文件夹下
def img_to_file(path):
print("=========开始移动图片============")
#如果没有dog类和cat类文件夹,则新建
if not os.path.exists(path+"/dog"):
os.makedirs(path+"/dog")
if not os.path.exists(path+"/cat"):
os.makedirs(path+"/cat")
print("共:{}张图片".format(len(glob.glob(path+"/*.jpg"))))
#通过glob遍历到所有的.jpg文件
for imgPath in glob.glob(path+"/*.jpg"):
#print(imgPath)
#使用/划分
img=imgPath.strip("\n").replace("\\","/").split("/")
#print(img)
#将图片移动到指定的文件夹中
if img[-1].split(".")[0] == "cat":
shutil.move(imgPath,path+"/cat")
if img[-1].split(".")[0] == "dog":
shutil.move(imgPath,path+"/dog")
print("=========移动图片完成============")
img_to_file(train_path)
print("训练集猫共:{}张图片".format(len(glob.glob(train_path+"/cat/*.jpg"))))
print("训练集狗共:{}张图片".format(len(glob.glob(train_path+"/dog/*.jpg"))))
然后从dog中和cat中分别抽取1250张,共2500张图片作为测试集。
import random def split_train_test(fileDir,tarDir): if not os.path.exists(tarDir):
os.makedirs(tarDir)
pathDir = os.listdir(fileDir) #取图片的原始路径
filenumber=len(pathDir)
rate=0.1 #自定义抽取图片的比例,比方说100张抽10张,那就是0.1
picknumber=int(filenumber*rate) #按照rate比例从文件夹中取一定数量图片
sample = random.sample(pathDir, picknumber) #随机选取picknumber数量的样本图片
print("=========开始移动图片============")
for name in sample:
shutil.move(fileDir+name, tarDir+name)
print("=========移动图片完成============")
split_train_test(train_path+'/dog/',test_path+'/dog/')
split_train_test(train_path+'/cat/',test_path+'/cat/')
最终,我们就有以下结构了:
其中train包含22500张图片,其中dog类和cat类各11250张。test包含2500张图片,其中dog类和cat类各1250张。
发现测试集还是有点少,那就再来一遍了。
最后,train包含20250张图片,其中dog类和cat类各10125张。test包含4750张图片,其中dog类和cat类各2375张。