Google Research 评估 25 个 LLM 的行为倾向与人类偏好对齐程度
Google Research 提出行为倾向评估框架,对 25 个 LLM 的分析发现,模型既会偏离人类共识,也未充分体现意见分歧。研究将心理问卷转化为现实情境判断测试,每个情境收集 10 名标注者的行动偏好,并与模型回答分布比较;在人类意见分歧较大的情境中,所有受测模型均表现出系统性过度自信。模型自报倾向与情境中的建议行为也存在差异,例如自称低冲动性,却给出偏向冲动的建议。
推荐理由:将心理问卷转化为情境判断测试,为区分模型自述倾向与实际建议行为提供了可迁移的评估路径,而不只依赖自报答案。