"""
分类器：
@在神经网络一节中，输入数据都是随机数据，这里换为真实的数据进行一个简单的训练；一般数据分为图像、文本、音视频等。
对于图像，Pillow，OpenCV等软件包很有用
对于音频，请使用scipy和librosa等软件包
对于文本，基于Python或Cython的原始加载，或者NLTK和SpaCy很有用
@一般在c++中我们会使用opencv进行图像加载，至于加载的函数如loadimage或者imread都是由opencv提供的，在pytorch中也封装了类似的
包，在torchvision中。这个包基本上有最常见的数据加载器；其中最常见的数据加载器包括：
torchvision.datasets和torch.utils.data.DataLoader；
@训练图像分类器常见步骤如下：
使用以下命令加载和标准化CIFAR10训练和测试数据集 torchvision
定义卷积神经网络
定义损失函数
根据训练数据训练网络
在测试数据上测试网络
"""
import torch
#包含了目前流行的数据集，模型结构和常用的图片转换工具
import torchvision
"""
transforms有以下几个主要功能：
Compose 组合多个功能步骤为一个步骤；
CenterCrop 进行中心切割
RandomCrop 进行随机切割
RandomHorizontalFlip 随机水平翻转
RandomSizedCrop 随机剪切及重设大小
Pad 填充
Normalize 正规化
ToTensor 转换为pytorch支持的Tensor
ToPILImage 转换为PIL图像
Lambda 使用lambd转换器
"""
import torchvision.transforms as transforms # 主要用于图像一些基本变换以及一些简单格式封装
"""
把一个取值范围是[0,255]的PIL.Image或者shape为(H,W,C)的numpy.ndarray，转换成形状为[C,H,W]，取值范围是[0,1.0]的torch.FloadTensor;
给定均值：(R,G,B) 方差：（R，G，B），将会把Tensor正则化。即：Normalized_image=(image-mean)/std;
方差反应数据的偏离程度，标准差主要是利于我们肉眼查看。
"""
transform = transforms.Compose([transforms.ToTensor(),transforms.Normalize((0.5,0.5,0.5),(0.5,0.5,0.5))])
# train为True表示训练集，为False表示测试集；download表示是否从互联网进行下载，transforms表示预处理方式，
# 主要目的是将这些如PIL形式数据转成pytorch支持的；
trainset = torchvision.datasets.CIFAR10(root='./data',train=True,download=False,transform=transform)
#shuffle表示是否需要打乱数据。
trainloader = torch.utils.data.DataLoader(trainset,batch_size=4,shuffle=True,num_workers=0)
testset = torchvision.datasets.CIFAR10(root='./data',train=False,download=False,transform=transform)
testloader = torch.utils.data.DataLoader(testset,batch_size=4,shuffle=False,num_workers=0)
classes=('plane', 'car', 'bird', 'cat','deer', 'dog', 'frog', 'horse', 'ship', 'truck')
import matplotlib.pyplot as plt
import numpy as np
def imshow(img):
img = img/2+0.5
npimg = img.numpy()
plt.imshow(np.transpose(npimg,(1,2,0)))#进行轴对换
plt.show()
dataiter = iter(trainloader)#执行到此步骤失败，需要将之前的num_workers改为0
images,labels = dataiter.next()#这里注意指向的是第一个元素并非下一个元素
imshow(torchvision.utils.make_grid(images))#网格显示
print(' '.join('%5s'%classes[labels[j]] for j in range(4)))
#定义卷积神经网络
import torch.nn as nn
import torch.nn.functional as F
class Net(nn.Module):
def __init__(self):
super(Net, self).__init__()
self.conv1 = nn.Conv2d(3, 6, 5)
self.pool = nn.MaxPool2d(2, 2)
self.conv2 = nn.Conv2d(6, 16, 5)
self.fc1 = nn.Linear(16 * 5 * 5, 120)
self.fc2 = nn.Linear(120, 84)
self.fc3 = nn.Linear(84, 10)
def forward(self, x):
x = self.pool(F.relu(self.conv1(x)))
x = self.pool(F.relu(self.conv2(x)))
x = x.view(-1, 16 * 5 * 5)
x = F.relu(self.fc1(x))
x = F.relu(self.fc2(x))
x = self.fc3(x)
return x
net = Net()
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
print(device)
net.to(device)
#定义损失函数和优化器
import torch.optim as optim
criterion = nn.CrossEntropyLoss()
optimizer = optim.SGD(net.parameters(),lr=0.001, momentum=0.9)
#训练网络
for epoch in range(2):
running_loss = 0.0
for i ,data in enumerate(trainloader,0):# 0代表下标起始位置
#inputs,labels = data #使用CPU
inputs, labels = data[0].to(device), data[1].to(device)# 使用GPU
optimizer.zero_grad()
outputs = net(inputs)
loss = criterion(outputs,labels)
loss.backward()
optimizer.step()
running_loss += loss.item()
if i % 2000 == 1999:
print('[%d ,%5d] loss:%.3f'%(epoch+1,i+1,running_loss/2000))
running_loss =0.0
print('trainning finished')
#测试网络
dataiter = iter(testloader)
images,labels = dataiter.next()
imshow(torchvision.utils.make_grid(images))
print('GroundTruth: ',' '.join('%5s'%classes[labels[j]] for j in range(4)))
outputs = net(images)
_,predicted = torch.max(outputs,1)#1代表返回最大元素在这一行的列索引
#整个数据集表现
correct = 0
total = 0
with torch.no_grad():
for data in testloader:
images,labels = data
outputs = net(images)
_,predicted = torch.max(outputs.data,1)
total += labels.size(0)
correct += (predicted==labels).sum().item()
print('正确率：%d %%'%(100*correct/total))
class_correct = list(0. for i in range(10))
class_total = list(0. for i in range(10))
with torch.no_grad():
for data in testloader:
images,labels = data
outputs = net(images)
_,predicted = torch.max(outputs,1)
c = (predicted==labels).squeeze()#压缩
for i in range(4):
label = labels[i]
class_correct[label] += c[i].item()
class_total[label] += 1
for i in range(10):
print('%5s正确率：%2d %% '%(classes[i],100*class_correct[i]/class_total[i]))