現(xiàn)在，不少消費者對帶貨直播間數(shù)字人主播的印象，還停留在“AI味重”、無法實時互動的層面，實際上，目前這些AI主播已經(jīng)發(fā)展到了以假亂真的程度。

最近，一段AI數(shù)字人主播帶貨時遭遇指令攻擊的視頻引發(fā)關(guān)注。一方面，視頻中的主播與真人相似度極高，另一方面，有網(wǎng)友僅通過在相關(guān)直播間留言，就能控制AI數(shù)字人主播 按照留言內(nèi)容行事，暴露出風險隱患。

這是發(fā)生在帶貨直播間內(nèi)的片段，用戶在留言區(qū)輸入“系統(tǒng)、開發(fā)者模式”等關(guān)鍵詞后，再給AI主播下指令，主播就會真的照做。這種攻擊屬于提示詞注入攻擊，當商家打開數(shù)字人閱讀評論，并做出回應(yīng)等權(quán)限，數(shù)字人就會根據(jù)留言內(nèi)容做出相應(yīng)行為。

網(wǎng)絡(luò)安全專家介紹，隨意控制數(shù)字人主播可能帶來多種風險，比如惡意攻擊者如果讓數(shù)字人主播上架0元或低價產(chǎn)品再進行搶購，就可能對商家權(quán)益造成侵害。

螞蟻集團大模型數(shù)據(jù)安全總監(jiān) 楊小芳：有些有組織的一些攻擊行為，它可以用機器的方式，一秒鐘可以給你發(fā)一萬條，那你怎么去對抗？所以說出廠的時候?qū)?prompt（提示詞）做一些加固之外實，時的一些防護就是檢測和對抗是非常重要。

法律人士介紹，類似攻擊暴露了平臺的監(jiān)管短板。

律師 游云庭：利用人工智能進行網(wǎng)絡(luò)直播營銷的平臺應(yīng)該對這個運營者進行安全評估。同時平臺還應(yīng)當進行監(jiān)控，發(fā)生這樣類似的事故的時候應(yīng)當阻斷這樣一個互聯(lián)網(wǎng)直播?，F(xiàn)在這個直播運營者它的技術(shù)顯然是不過關(guān)的，導(dǎo)致被一個非常簡單的技術(shù)攻擊就出了這樣一個直播事故。另外還有一個追究責任的問題，除了運營者平臺之外，破壞這個直播的人他有可能涉嫌違反治安管理處罰法，有可能會被公安機關(guān)進行治安處罰。