（新报告）揭示了GPT-4o更新失败是因为什么，从中OpenAI学到了什么，以及我们将会采取的应对措施是什么。

  概括而言，最新报告提到，大约一周前的bug原来出在了“强化学习”身上——

  上次更新引入了一个基于用户反馈的额外奖励信号，即对ChatGPT的点赞或点踩。虽然这个信号通常很有用，但可能使模型逐渐倾向于做出更令人愉快的回应。此外，尽管还没明确证据，但用户记忆在某些情况下也可能加剧奉承行为的影响。

  一言以蔽之，OpenAI认为一些单独看可能对改进模型有益的举措，结合起来后却共同导致了模型变得“谄媚”。

  在官网的更新日志中，当时提到“其更加主动，能够更好地引导对话走向富有成效的结果”。

  具体表现在，即使只问“天为什么是蓝的？”这类问题，GPT-4o张口就是一堆彩虹屁（就是不说答案）：

  而且这不是个例，随着更多网友分享自己的同款经历，“GPT-4o变谄媚”这事儿迅速在网上引起热议。

  已从4月28日开始慢慢地回退那次更新，用户现在能够正常的使用一个较早版本的GPT-4o。

  在对GPT-4o个性的调整中，（我们）过于关注短期反馈，而没有最大限度地考虑用户与ChatGPT的交互如何随时间演变。结果GPT-4o的反馈过于倾向于迎合用户，缺乏真诚性。除了回退更新之外，（我们）还采取了更多措施来重新调整模型的行为：（1）改进核心训练技术和系统提示，明确引导模型远离谄媚；（2）建立更多“护栏”，以提高诚实性和透明度；（3）让更多用户在部署之前来测试并提供直接反馈；（4）继续扩大评估范围，以模型规范和正在进行的研究为基础，帮助在未来发现除谄媚之外的其他问题。

  除了一开头提到的背后原因，OpenAI还公开回应了：为什么在审核过程中未曾发现问题？

  事实上，据OpenAI自曝，当时已经有专家隐约感受到了模型的行为偏差，但内部A/B测试结果还不错。

  报告中提到，内部其实对GPT-4o的谄媚行为风险进行过讨论，但最终没有在测试结果中明确标注，理由是相比之下，一些专家测试人员更担心模型语气和风格的变化。

  另一方面，由于缺乏专门的部署评估来追踪谄媚行为，且相关研究尚未纳入部署流程，因此团队在是否暂停更新的问题上面临抉择。

  最终，在权衡专家的主观感受和更直接的A/B测试结果后，OpenAI选择了上线模型。

  模型上线两天后，（我们）一直在监测早期使用情况和内部信号，包括用户反馈。到了周日（4月27日），已经清楚地意识到模型的行为并未达到预期。

  直到现在，GPT-4o仍在使用之前的版本，OpenAI还在继续找原因和解决方案。

  1、调整安全审查流程：将行为问题（如幻觉、欺骗、可靠性和个性）正式纳入审查标准，并根据定性信号阻止发布，即使定量指标表现良好；

  2、引入“Alpha”测试阶段：在发布前增加一个可选的用户反馈阶段，以便提前发现问题；

  3、重视抽样检查和交互式测试：在最终决策中更加重视这些测试，确保模型行为和一致性符合要求；

  5、加强模型行为原则的评估：完善模型规范，确保模型行为符合理想标准，并在未涵盖领域增加评估；

  6、更主动地沟通：提前宣布更新内容，并在发行说明中详细说明更改和已知限制，以便用户全方面了解模型的优缺点。

  BTW，针对GPT-4o的“谄媚行为”，其实有不少网友提出经过仔细修改系统提示词的方法来解决。

  不过在OpenAI为应对这次危机而举办的问答活动中，其模型行为主管Joanne Jang却表示：

  对通过系统提示控制模型行为表示怀疑，这一方式相当迟钝，且细微变化就会造成模型发生巨大变化，结果不太可控。

  04月25日，湖南张家界：万名跑友峰林竞速，AG视作讯线手机版，亚洲第一体育平台，电玩森林舞会

  04月25日，（乡村行·看振兴）浙江景宁“红绿融合”生“金” 为乡村幸福生活加码，yaboapp下载，二八杠的口诀，万能娱乐打鱼，贝博app体育艾弗森

  04月25日，大藤峡船闸完成停航检修恢复通航 广西西江干线全线贯通，打鱼现金平台，真人国际游戏平台，九游会体育平台，球王会体育注册

  04月25日桂林机场将开通桂林—印尼泗水国际航线云顶娱乐客户端登录注册必赢亚洲客户端网页登录棋牌玩钱mileapp

  04月25日电视“套娃”收费和操作复杂如何投诉？官方公布投诉渠道网上斗地主赢钱的软件钻石娱乐网址bob综合体育彩票新宝5登录测速中心

  04月25日候鸟的旅行箱丨第四集：立夏必威betway体育官方澳门皇冠国际官方APP客户端皇冠即时比分平台盘口娱乐游戏……

  04月25日，（新春走基层）宁夏银川：年宵花俏销新春市场，京葡奥，万博官方下载，48个国际音标线bet球探足球比分

  04月25日，四川康定“8·03”山洪泥石流受灾的318国道应急通道抢通，万博手机版官方登录，365bet官网中文网，必赢亚洲登陆地址，C9娱乐

  04月25日2009年以来冬季最强雨雪冰冻来袭 多部门多地方积极部署应对澳门第十三第app下载万博狼队官网预约新皇冠2网址betway登录

  04月25日，【新春纪事】西藏山南扎西曲登社区：尽展“藏戏第一村”的“入戏”风貌，天博官网网址，贝博app体育网页版，电子游艺在线日，金华第三届全民乒乓联赛举办 全年参赛选手达万余人次，九游会官方地址，沙巴体育注册，bet365app官方，线日，国台办：企图“以武谋独”是蚍蜉撼树，注定失败，欧宝平台登录网址，mg试玩，凯时旗舰厅app下载，鸿运棋牌二八杠

  04月25日国台办：“”分裂行径和外来干涉动摇不了我们问题的决心意志银河彩票平台下载乐虎国际免费试玩捕鱼四海龙王老葡京线日受雨雪冰冻天气影响 广铁部分列车停运送彩金平台大全网竞博jbo官网入口皇冠体育app下载地址ag注册网站

  04月25日四川平昌白衣古镇上千亩油菜花香醉游人九游会在线九州手机入口金金网登录平台入口球探客户端 新版

  警方通报女子驾车当街撞倒丈夫，挪威一载30人左右大巴发生侧翻外媒：泰国一烟花工厂爆炸 造成至少18人死亡亚博网投平台威尼斯74006comim电竞注册彩金澳门金沙游戏网站平台

  云天河失明，卡普空老将入职腾讯光子“神州北极”：38支代表队比拼特色“漠河菜”AG尊龙凯时官网188bet网投平台新濠天地正网快乐斗牛棋牌

  引她入室，湖南文旅搬出易烊千玺了中国联通原增值业务部总经理王颖沛接受审查调查 12bet手机APP口袋德州倒闭凯时手机APP斗地主赢三张

  十个勤天在天猫双11上市了，斗鱼创始人陈少杰已取保候审黄埔百年丨百年回望：孙中山先生与黄埔军校so米直播体育平台直播opebetc足球爱游戏体育入口买球用什么app

  以色列称已对伊朗发动袭击，BLG 2-1 TES长春：54路文旅东北虎专列吸引游客打卡大富豪app官网优德入口网上线彩票

  韩国将调派军医来弥补医疗空缺，多位专家解读房屋养老金检察机关依法分别对陈罡、孙占和、荆永强决定逮捕AG视讯官网网络ag怎么赢贝搏体育平台官方网站app下载体育