复杂的神经网络模型通常由多层结构构成,将其基本构成部分称为,描单层、多层组件或者整个模型。

从单纯的编程视角出发,块是同过类实现的,考虑到神经网络的性质,这些类需要具备如下的基本功能:

  1. 输入数据作为前向传播的函数的参数。
  2. 通过前向传播函数生成输出。
  3. 计算输出的梯度。
  4. 存储和访问前向传播计算所需的参数。
  5. 根据需求初始化模型参数。