🔗论文

🔗代码

什么是探针？ “探针”，即一个有监督模型，用来确定目标模型隐藏表示中的信息内容。 ❗️ 需要注意的是，探针只能证明目标模型的表征中“存在某种信息”，但不能证明该表征与模型最终输出结果之间存在因果关系。 若探针本身的学习能力过强（如深层网络）则不能有效证明目标模型中编码了该信息，因为这个信息有可能是探针自己学习到的。因此研究中通常先使用线性探针。 怎么用探针？ 步骤 冻结目标模型 提取注意力头的激活，作为探针模型的输入$X$ 用$(X, y)$训练探针模型，查看预测结果 如果预测准确，说明激活中编码了特定信息 探针方法类似监督学习，只是使用了一套特殊特征（大模型的hidden states）作为输入，训练一个普通分类器。 …

不想要跟踪某个文件 使用skip-worktree，可忽略本地修改，不进 git status、不提交，使得本地修改不影响其他端 1git update-index --skip-worktree 文件.sh 检查是否生效 1git ls-files -v | grep 文件.sh 行首标记 含义 S skip-worktree h assume-unchanged H 正常跟踪 恢复跟踪 1git update-index --no-skip-worktree 文件.sh

🔗 论文 Activations as Features: Probing LLMs for Generalizable Essay Scoring Representations

🔗 与gpt对话记录

“用AI 10天发一篇CCF B” xhs刷帖有感 在xhs刷到“10天发一篇CCF B”的帖子，而自己作为研0生，正在读第4篇领域论文中。感叹AI发展过快，让研究环境也变得浮躁起来，问题在于，始终觉得自己停留在初步阶段，能做是看顶会论文、跑跑改改别人的代码，有一点想法但是不成体系。 静下心来想，AI本质上还是工具，对于那些自己走过一篇古法流程的人，完全知道利用AI完成什么、怎么进一步优化；但是对于新手来说，不知道什么时候用、怎么用，干巴巴地等AI把所有事情处理完，自己没有学到实质性的知识，错了、偏了，要么放弃，要么一遍遍消耗token试图纠正。 心态上，容易忽略使用AI的人本身的基础，产生“为什么别人可以这么快，我是不是落后了”的 …

点我看题

给定一个整数数组 nums 和一个整数目标值 target，请你在该数组中找出 和为目标值 target 的那 两个 整数，并返回它们的数组下标。

你可以假设每种输入只会对应一个答案，并且你不能使用两次相同的元素。

你可以按任意顺序返回答案。

点我看题

给定一个字符串数组 strs ，将 变位词 组合在一起。 可以按任意顺序返回结果列表。

注意：若两个字符串中每个字符出现的次数都相同，则称它们互为变位词。

33-Pytorch

this is a test for a new file

31-互联网程序设计