On Explaining (Large) Language Models For Code Using Global Code-Based Explanations 文章主要内容总结本文提出了一种名为CodeQ的可解释性方法,旨在通过全局代码解释来分析大型语言模型(LM4Code)的代码生成决策过程。CodeQ通过三个核心步骤实现:Rationalization:提取影响代码预测的关键输入令牌子集(rationale),通过贪心算法逐步选择对目标令牌概率贡献最大的令牌。Mapping:将令牌映射到更高层次的代码概念(如语法结构、自然语言元素等),构建可解释性矩阵。Reduction:通过统计聚合(如平均值、中位数)生成全局可解释性张量,揭示模型在代码生成中的系统性趋势。通过实验验证,CodeQ能够有效识别模型依赖的代码概念(如if语句、缩进等),并发现模型可能过度依赖无意义令牌(如标点符号)的问题。用户研究表明,CodeQ的解释具有可读性和实用性,可帮助开发者理解模型行为并促进模型调试。创新点全局代码解释框架:首次提出基于代码概念的全局解释方法,超越传统令牌级分析,揭示模型在代码生成中的系统性模式。数学严谨性:结合序列依据(sequential rationales)和语法分解(syntax decomposition),构建可解释性张量,提供统计依赖、频率分析和概率分布等多维视角。用户研究验证:通过实证研究证明Code