循环神经网络（RNN）在处理长序列时，常因「关联记忆」能力不足而输给Transformer架构。一项新研究通过在mLSTM的记忆矩阵上应用正交化技术，让RNN在高难度记忆任务中取得突破。
mLSTM是LSTM的变体，通过维护一个矩阵记忆来增强关联记忆能力，但当任务中混入干扰词（distractor）时，传统mLSTM仍会失准。研究者受Muon优化器的启发——Muon通过正交化动量防止少数强方向主导更新——对mLSTM的记忆矩阵做了类似处理：读取时对矩阵进行正交化，而非写回。
实验在MAD的噪声关联记忆任务上进行，关键参数frac_noise设为0.8（即80%为干扰词），在vocab从16到96、序列长度从128到1024的多种配置下测试。基线mLSTM在vocab=96、seq_len=768/1024时几乎失败（4/24个随机种子成功），而加入正交化后提升至14-16个种子成功，提升幅度显著。正交化采用Frobenius范数归一化加5次Newton-Schulz迭代，以额外计算换取记忆性能的全面提升。
研究者指出，当前结果在小模型合成任务上成立，尚未在真实场景和大规模模型中验证，实际应用价值仍需进一步评估。
编注：信源为研究者博客，材料介绍Muon优化器思路的迁移实验；测试环境为小模型合成任务，未涉及真实应用场景。