arXiv · cs.CL（大模型）· Aryan Chowdhury, Riza Batista-Navarro·2026-11-02 13:00· 2 小时前AI 评分50

剪枝冗余注意力头抑制GPT-2-XL逐字记忆

Fewer Heads, Fewer Memories: Pruning Redundant Attention Heads Suppresses Verbatim Memorisation

AI 导读

研究发现剪枝GPT-2-XL中729个任务冗余注意力头，可使逐字记忆序列减少91.5%，同时WikiText-103困惑度改善0.92。该方法在推理阶段通过零化注意力头抑制记忆，无需重训练或修改数据，有助于缓解隐私泄露与知识产权暴露风险。