前向传播的中间量缓存,供反向传播使用。
Cache
01 Syntax
Microsoft.VisualBasic.MachineLearning.Transformer.FeedForwardNetwork.Cache
02 Fields
| Name | Overloads | Summary |
|---|---|---|
| Input | 2 | 本层输入 G |
| PreActivation | 2 | 第一层的预激活值(ReLU 之前) |
| Activation | 2 | 第一层的激活值(ReLU 之后) |
03 Members
Input
本层输入 G
PreActivation
第一层的预激活值(ReLU 之前)
Activation
第一层的激活值(ReLU 之后)
Input
PreActivation
Activation