3. Neural network architecture
此处描述了在本文当中所使用的网络结构，和所提取的关键特征（key features）。首先，描述了两个新型的网络结构：the network-in-network nonlinearity和the statistics extraction layer（NIN非线性结构和统计信息提取层）。
3.1 Network-in-Network nonlinearity
如图（1）所示，该网络结构是一个多对多的非线性系统，由两个块对角阵组成，在使用的过程中，在同一层中，所有的NIN模块是参数共享的，且互相之间不重叠（non-overlapping）。
在NIN的内部，转换块(transformation block)\(U_1\)是尺寸为\(m\times k\)的矩阵，将尺寸为\(m\)的输入映射到维度为\(k\)的高维空间中，然后使用Relu函数进行非线性映射；\(U_2\)是尺寸为\(k\times n\)的矩阵，将非线性变化后的\(k\)维变量映射到\(n\)为空间当中，再进行Relu非线性映射。该NIN模块在论文中称之为“micro neural network blocks”。
如果，NIN模块在单层网络中共享权值，那么\(U_1\)的每一列可以解释为一维卷积核，且卷积核的尺寸为\(m\)，卷积的步长为\(m\)。
对于此处的理解：
\[
x \cdot U_{(m,k)}=x \cdot [u_1,u_2 \cdots u_k]=[x\cdot u_1,x\cdots u_2 \cdots x\cdot u_k]
\]
在图（2）当中，将本文提出的网络与基于MFCC的基线系统目标函数的收敛情况进行对比，可以得到：本文提出的网络目标函数的收敛速度较快，且收敛之后的目标函数的数值较好。