TensorOps

创建与 tensor 同形状的全零张量。

深拷贝张量。用于「同一个梯度同时属于两个分支」的场景 （例如 AddNorm 反向对 A 与 B 给出同一份 dx，必须各自持有独立副本）。

把张量的全部元素置零（原地）。

原地累加：target += grad（要求形状一致）。

原地缩放：tensor *= scalar。

按标量缩放（返回新张量）。

逐元素乘法（Hadamard 积）。

ReLU 反向所需的阶跃掩码：元素 > 0 取 1，否则取 0。

旧 AD 张量 GenerateNormalRandomValues() 的等价实现： 以倒数第二维作为 fan-in 做 He 缩放的正态初始化。

初始化使用本模块内部的随机数发生器；通过 TensorOps.Seed 设定种子即可让 整个模型的初始化（进而整次训练）完全可复现。

对最后一维做 argmax，返回每个 slice 的最大值位置 （等价于旧 AD 张量的 GetMaxIndex()，用于 [batch, 1, dict]）。

对最后两维做矩阵乘：C[..., i, j] = Σ_k A[..., i, k] * B[..., k, j]。

当 b 为二维张量时，它在所有 block 上广播（共享一份权重）， 与旧 SIMDMatMul.Solve 语义一致。B 为二维时走「reshape + 2D SIMD MatMul」 的快路径，其它情况按 block 逐块计算。

TensorOps.BatchedMatMul() 的反向传播。

dA = dC · Bᵀ；dB = Σ_block Aᵀ · dC（B 为二维时对全部 block 求和， 因为前向阶段它是被共享使用的）。

交换最后两维（任意 rank >= 2）。

沿最后一维拼接若干张量（其余维度必须一致），等价于旧 AD 张量的 Concat。

TensorOps.ConcatLastDim() 的反向：沿最后一维等分切回各分量。

把最后两维的上三角（j > i）原地置为负无穷，用于因果掩码。

掩码后的位置经过 softmax 后输出恒为 0，其上游梯度也自然为 0 （dx_i = y_i·(dy_i − Σ dy·y)，而 y_i = 0），因此本算子不需要单独的反向实现。

沿最后一维做数值稳定的 softmax。

softmax 的反向传播：dx_i = y_i · (dy_i − Σ_j dy_j·y_j)。

残差相加后沿最后一维做 LayerNorm：C = (A + B − mean) / sqrt(var + eps)。

与旧 AD 张量的 AddNorm 完全一致：eps = 0.001，且没有可学习的 γ / β。 均值与逆标准差按最后一个维度逐 slice 缓存，供反向传播使用。

TensorOps.AddNormForward() 的反向传播。

x̂ = (x − μ)·invStd，精确反向公式为： dx = invStd · (dy − mean(dy) − x̂ · mean(dy ⊙ x̂))。

对 x = A + B 的梯度；由于 A 与 B 在加法处是对称的， dA = dB = 返回值。

把一维向量加到张量最后一维：C[..., j] = T[..., j] + v[j]。

TensorOps.VecAdd() 对偏单向量的反向：沿其余维度求和。

把最后两维压平为 [..., 1, I*J]（行优先顺序不变）。

TensorOps.FlattenLastTwo() 的反向：还原为原始形状。

按固定掩码做 dropout：先整体放大 1/(1-rate)，再把掩码位置清零。

TensorOps.DropoutMask() 的反向：同一掩码位置梯度置零并做同样的缩放。