卷积神经网络也是通过一层一层的节点组织起来的。和全连接神经网络一样，卷积神经网络中的每一个节点就是一个神经元。在全连接神经网络中，每相邻两层之间的节点都有边相连，于是会将每一层的全连接层中的节点组织成一列，这样方便显示连接结构。而对于卷积神经网络，相邻两层之间只有部分节点相连，为了展示每一层神经元的维度，一般会将每一层卷积层的节点组织成一个三维矩阵。
除了结构相似，卷积神经网络的输入输出以及训练的流程和全连接神经网络也基本一致，以图像分类为列，卷积神经网络的输入层就是图像的原始图像，而输出层中的每一个节点代表了不同类别的可信度。这和全连接神经网络的输入输出是一致的。类似的，全连接神经网络的损失函数以及参数的优化过程也都适用于卷积神经网络。因此，全连接神经网络和卷积神经网络的唯一区别就是神经网络相邻两层的连接方式。
那为啥全连接层神经网络无法很好的处理图像数据？
使用全连接神经网络处理图像的最大问题就是：全连接层的参数太多，对于MNIST数据，每一张图片的大小是28*28*1，其中28*28代表的是图片的大小，*1表示图像是黑白的，有一个色彩通道。假设第一层隐藏层的节点数为500个，那么一个全连接层的神经网络有28*28*500+500=392500个参数，而且有的图片会更大或者是彩色的图片，这时候参数将会更多。参数增多除了导致计算速度减慢，还很容易导致过拟合的问题。所以需要一个合理的神经网络结构来有效的减少神经网络中参数的个数。卷积神经网络就可以更好 的达到这个目的。