剪枝冗余注意力头抑制大模型逐字记忆

2026年11月，arXiv发布研究指出，通过剪枝GPT-2-XL中729个任务冗余注意力头，可显著降低模型的逐字记忆风险。实验数据显示，该方法使逐字记忆序列减少91.5%，同时WikiText-103困惑度改善0.92。该技术在推理阶段通过零化特定注意力头来抑制记忆行为，无需重新训练模型或修改原始数据。这一发现为大语言模型在隐私保护及知识产权暴露风险的缓解提供了新的技术路径，证明了结构剪枝在控制生成内容忠实度方面的有效性。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。