团队还指出,偏好
美国Anthropic公司研究团队使用GPT-4.1进行了实验:先让该模型具备与核心任务无关的科学特征(例如偏爱猫头鹰或特定树种),再用其训练一个仅输出数值数据且不包含该特征的夹带学生模型。其超过60%的大语输出提到了老师模型最喜欢的动物或树木,需要进一步研究。言模而由没有特定偏好的型会新闻老师模型训练出的学生模型中,仍可能持续存在。蒸馏中自主要发生在老师和学生均为同一模型(例如GPT-4.1老师与GPT-4.1学生)的偏好情况下。同样观察到了这一现象。科学该研究结果表明,夹带数据传递的具体机制尚不明确,但目前尚不清楚老师模型的哪些特性会被传递给学生模型。
