众包游戏 Steering Arena 如何检验 Olmo 3 的亲社会引导

摘要

东北大学硕士生 Soham Padia 用 Olmo 3 测试众包评估亲社会行为能否暴露小团队易忽略的弱点。他把评估做成游戏 Steering Arena：玩家提交简短文本前缀以影响模型，观察其把 Olmo 3 推向更亲社会回答的强度，并争夺排行榜首位。该评估使用 135 组对比文本，覆盖共情、公平、安全、隐私、尊重等 15 项品质。Padia 通过美国 NSF 支持的 National Deep Inference Fabric 远程使用 Olmo 3-32B。他强调，仅有开放权重不够，Olmo 记录了数据与后训练过程，才能判断亲社会方向源自预训练还是后续微调——多数模型无法回答这一问题。