什么是探针？ “探针”，即一个有监督模型，用来确定目标模型隐藏表示中的信息内容。 ❗️ 需要注意的是，探针只能证明目标模型的表征中“存在某种信息”，但不能证明该表征与模型最终输出结果之间存在因果关系。 若探针本身的学习能力过强（如深层网络）则不能有效证明目标模型中编码了该信息，因为这个信息有可能是探针自己学习到的。因此研究中通常先使用线性探针。 怎么用探针？ 步骤 冻结目标模型 提取注意力头的激活，作为探针模型的输入$X$ 用$(X, y)$训练探针模型，查看预测结果 如果预测准确，说明激活中编码了特定信息 探针方法类似监督学习，只是使用了一套特殊特征（大模型的hidden states）作为输入，训练一个普通分类器。 …