近期，《咬文嚼字》雜志發(fā)布了2024年度十大流行語，“智能向善”位列其中，過去一年時間里，深度偽造、AI詐騙等話題屢次登上熱搜，AI技術(shù)“野蠻生長”引發(fā)公眾擔(dān)憂。今年9月，全國網(wǎng)絡(luò)安全標準化技術(shù)委員會發(fā)布了《星空人工智能安全治理框架》，指出星空人工智能既面臨自身技術(shù)缺陷、不足帶來的內(nèi)生風(fēng)險，也面臨不當(dāng)使用、濫用甚至惡意利用帶來的外部風(fēng)險。

為探尋AI安全治理道路，近期，由中國計算機學(xué)會計算機視覺專委會主辦，合合信息承辦，中國運籌學(xué)會數(shù)學(xué)與智能分會協(xié)辦的《打造大模型時代的可信AI》論壇（簡稱“論壇”）順利舉行。論壇特邀來自上海交通大學(xué)、電子技術(shù)標準化研究院、中國科學(xué)技術(shù)大學(xué)、中科院、合合信息等機構(gòu)與企業(yè)的專家們，從立法、監(jiān)管、前沿研究、技術(shù)實踐等多個維度分享AI安全領(lǐng)域的最新進展，助力AI向善發(fā)展。

圖說：《打造大模型時代的可信AI》分享嘉賓合影

圖說：中國計算機學(xué)會計算機視覺專委會副秘書長潘金山博士致辭

AI安全治理框架：技術(shù)手段與規(guī)范管理并行

隨著以 ChatGPT 為代表的AI大語言模型技術(shù)飛速發(fā)展，關(guān)于數(shù)據(jù)安全、知識產(chǎn)權(quán)、算法偏見和有害內(nèi)容生成等大語言模型的內(nèi)容安全問題引發(fā)了社會關(guān)注。“安全是個抽象概念，安全對齊的過程是一個從抽象到具體的模擬過程。”論壇上，上海交通大學(xué)星空人工智能研究院教授、總工程師金耀輝圍繞大模型訓(xùn)練過程，提出了“訓(xùn)練對齊、提示引導(dǎo)和文本過濾”三大安全保障手段，助力抽象的安全概念落實到具體的技術(shù)研發(fā)流程中。

圖說：上海交通大學(xué)星空人工智能研究院教授、總工程師金耀輝進行《智能共生時代：平衡生成式AI的創(chuàng)新與風(fēng)險》主題分享

規(guī)范標準是AI健康生長的外部力量。中國電子標準院網(wǎng)安中心測評實驗室副主任、CCIA數(shù)安委常務(wù)副主任何延哲認為，星空人工智能安全檢測目前還主要停留在內(nèi)容安全層面，檢測方法比較單一。他將星空人工智能安全檢測評估劃分為算力網(wǎng)絡(luò)安全、數(shù)據(jù)安全、個人信息保護、算法模型安全、網(wǎng)絡(luò)信息安全、科技倫理安全六方面，形成綜合評估框架，為標準引領(lǐng)技術(shù)發(fā)展方向提供可行性參考。

圖說：電子標準院網(wǎng)安中心測評實驗室副主任、CCIA數(shù)安委常務(wù)副主任何延哲進行《星空人工智能安全檢測評估的邏輯和要點》主題分享

技術(shù)實踐：“看不見”的AI讓偽造痕跡被看見

12月10日，Open AI正式向用戶開放AI視頻生成模型Sora。以Sora為代表的AI工具在給圖像視頻行業(yè)帶來革新的同時，也引發(fā)了合成圖像偽造風(fēng)險。中國科學(xué)技術(shù)大學(xué)教授、國家杰青謝洪濤以特定人物深度偽造視頻為研究對象，從主動防御和被動檢測兩個視角分享了具體治理方案。

謝洪濤提到，主動防御用于在視頻生成或傳播過程中加入前置保護措施，例如采用雙重水印技術(shù)，給人臉圖像加上“看不見”的魯棒性水印與半脆弱性水印，方便后續(xù)取證；被動檢測包括圖像級不一致性和時空身份不一致性檢測技術(shù)，用于在視頻傳播或使用后評估其真實性。

除了視頻外，圖像作為常見的數(shù)字內(nèi)容資料形式，更容易被不法分子進行局部或全域生成式篡改。合合信息圖像算法研發(fā)總監(jiān)郭豐俊表示，合合信息技術(shù)團隊基于數(shù)據(jù)驅(qū)動的神經(jīng)網(wǎng)絡(luò)模型，推出了行業(yè)領(lǐng)先水平的圖像篡改檢測方案，可提取篡改留下的細微痕跡，檢測出多種篡改形式，在近年的2次國際性技術(shù)競賽中獲得冠軍。當(dāng)前文檔類圖像篡改檢測仍然面臨諸多挑戰(zhàn)，如跨域泛化檢測性能低下，純色背景篡改檢測準確率較低，壓縮、傳輸?shù)葎幼鲗?dǎo)致圖像質(zhì)量退化，致使檢測性能下降等系列問題。大模型技術(shù)的出現(xiàn)為AI視覺安全的發(fā)展創(chuàng)造了新的可能，也為應(yīng)對檢測泛化能力和抗攻擊能力的挑戰(zhàn)提供了契機。

圖說：合合信息圖像算法研發(fā)總監(jiān)郭豐俊進行《視覺內(nèi)容安全技術(shù)的前沿進展與應(yīng)用》主題分享

星空人工智能鑒別與合成技術(shù)相互博弈，密不可分。中國科學(xué)院自動化研究所研究員、IEEE/IAPR Fellow赫然博士從深度合成技術(shù)出發(fā)，詳細分析了虛擬身份、身份重演和人臉驅(qū)動三種合成技術(shù)類型。他表示，深度合成技術(shù)的深入研究為鑒別提供了線索，例如模型指紋線索、圖像拼接線索和時序閃爍線索等，形成多模態(tài)多線索的鑒偽方法，并有針對性地提出了圖像鑒別方案，包括基于空頻域信息和提示學(xué)習(xí)結(jié)合的偽造鑒別方法、基于transformer的視頻鑒別方法等。

圖說：中國科學(xué)院自動化研究所研究員、IEEE/IAPR Fellow赫然進行《生成式星空人工智能安全與治理》主題分享

生成式星空人工智能發(fā)展日新月異，技術(shù)革新與安全治理缺一不可，面對AI的潛在風(fēng)險，加強行業(yè)內(nèi)部自律，從源頭做好安全措施是守護AI健康成長的第一道防線。本次活動是產(chǎn)學(xué)研聯(lián)合探索AI安全治理的一次有效嘗試。未來，合合信息會持續(xù)深耕AI視覺安全領(lǐng)域，積極推動行業(yè)合作與交流。

繼續(xù)閱讀：星空人工智能

星空人工智能技術(shù)網(wǎng) 倡導(dǎo)尊重與保護知識產(chǎn)權(quán)。如發(fā)現(xiàn)本站文章存在版權(quán)等問題，煩請30天內(nèi)提供版權(quán)疑問、身份證明、版權(quán)證明、聯(lián)系方式等發(fā)郵件至1851688011@qq.com我們將及時溝通與處理。！：首頁 > 新質(zhì)生產(chǎn)力 » CCF-CV攜手合合信息打造技術(shù)分享論壇，聚焦大模型時代中的視覺安全前沿?zé)狳c