12 月 19 日,OpenAI宣布加緊內(nèi)部安全防護(hù)工作,設(shè)立“安全顧問(wèn)小組”以防范有害人工智能的潛在威脅。這一舉措意味著技術(shù)團(tuán)隊(duì)之上增加新的“守護(hù)者”,為領(lǐng)導(dǎo)層提供專(zhuān)業(yè)意見(jiàn),且擁有董事會(huì)的否決權(quán)。
OpenAI將針對(duì)每個(gè)模型在網(wǎng)絡(luò)安全、說(shuō)服力(如虛假信息)、模型自主性以及 CBRN(化學(xué)、生物、放射性和核威脅,如制造新病原體的可能性)等四個(gè)方面進(jìn)行風(fēng)險(xiǎn)評(píng)級(jí)。
為了防止某些問(wèn)題得不到充分討論或處理,OpenAI設(shè)定了多種可能的緩解策略,例如模型拒絕教授如何制作凝固汽油或管式炸彈的傳授。對(duì)于評(píng)級(jí)認(rèn)定為“高風(fēng)險(xiǎn)”的模型,將禁止其發(fā)布;而若模型存在“關(guān)鍵風(fēng)險(xiǎn)”,則終止其后續(xù)研發(fā)。
然而,負(fù)責(zé)研發(fā)模型的人員并非最佳安全評(píng)估和建議者。為此,OpenAI正籌建一支“跨職能安全咨詢小組”,涉足技術(shù)領(lǐng)域,審查研究人員報(bào)告,從更全面的視角提供建議,發(fā)掘此前未曾意識(shí)到的隱憂。
這個(gè)過(guò)程要求安全專(zhuān)家的意見(jiàn)同步反饋至董事會(huì)及領(lǐng)導(dǎo)層,領(lǐng)導(dǎo)層將權(quán)衡利弊并作出決定;盡管董事會(huì)享有最終決定權(quán),但他們也可以隨時(shí)撤回決定,防止?jié)撛诘陌踩[患被忽略。
本次更新的重要焦點(diǎn)在于,OpenAI前任首席執(zhí)行官Sam Altman因模型安全問(wèn)題被董事會(huì)罷免。此次高層人事變動(dòng),導(dǎo)致兩位主張謹(jǐn)慎做事的董事Ilya Sutskever和 Helen Toner離任。
然而,業(yè)界仍存擔(dān)憂,若專(zhuān)家小組提出建議、CEO據(jù)此決策,眼下的 OpenAI董事會(huì)是否有足夠力量制止此舉?此外,OpenAI允諾引入獨(dú)立第三方審計(jì)體現(xiàn)的透明度問(wèn)題是否真正得到解決?
-
網(wǎng)絡(luò)安全
+關(guān)注
關(guān)注
10文章
3086瀏覽量
59472 -
人工智能
+關(guān)注
關(guān)注
1789文章
46368瀏覽量
236561 -
OpenAI
+關(guān)注
關(guān)注
9文章
1014瀏覽量
6349
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論