OpenAI發(fā)布CoT思維鏈研究成果，監(jiān)控阻止大模型惡意行為快訊
從而阻止 AI 大模型胡說(shuō)八道、隱藏真實(shí)意圖等行為，遠(yuǎn)超僅監(jiān)控行為的 60%，OpenAI 使用了最新發(fā)布的前沿模型 o3-mini 作為被監(jiān)控對(duì)象。
3 月 11 日消息，OpenAI 今日公布了其最新研究，試圖用 CoT（思維鏈）監(jiān)控的方式監(jiān)控推理模型的“想法”，從而阻止 AI 大模型胡說(shuō)八道、隱藏真實(shí)意圖等行為，同時(shí)這也是監(jiān)督超級(jí)模型的有效工具之一。
注：AI 偶爾會(huì)胡說(shuō)八道，我們一般稱其為 AI 幻覺(jué)。除此之外，AI 還會(huì)偷懶或故意耍壞，例如在問(wèn)題太難時(shí)欺騙用戶或干脆放棄。
OpenAI 使用了最新發(fā)布的前沿模型 o3-mini 作為被監(jiān)控對(duì)象，并以較弱的 GPT-4o 模型作為監(jiān)控器。測(cè)試環(huán)境為編碼任務(wù)，要求 AI 在代碼庫(kù)中實(shí)現(xiàn)功能以通過(guò)單元測(cè)試。
結(jié)果顯示，CoT 監(jiān)控器在檢測(cè)系統(tǒng)性“獎(jiǎng)勵(lì)黑客”行為時(shí)表現(xiàn)卓越，召回率高達(dá) 95%，遠(yuǎn)超僅監(jiān)控行為的 60%。（問(wèn)舟）
1.TMT觀察網(wǎng)遵循行業(yè)規(guī)范，任何轉(zhuǎn)載的稿件都會(huì)明確標(biāo)注作者和來(lái)源；
2.TMT觀察網(wǎng)的原創(chuàng)文章，請(qǐng)轉(zhuǎn)載時(shí)務(wù)必注明文章作者和"來(lái)源：TMT觀察網(wǎng)"，不尊重原創(chuàng)的行為T(mén)MT觀察網(wǎng)或?qū)⒆肪控?zé)任；
3.作者投稿可能會(huì)經(jīng)TMT觀察網(wǎng)編輯修改或補(bǔ)充。
