2025年以來,人工智能(AI)技術(shù)實現(xiàn)顯著突破——大模型訓(xùn)練成本不斷降低,應(yīng)用方式從生成式AI向智能體化AI快速演進。隨著技術(shù)不斷發(fā)展,AI正賦能各行各業(yè),引領(lǐng)人們進入“AI+”時代。然而,AI的“雙刃劍”效應(yīng)也愈發(fā)明顯:AI濫用風(fēng)險態(tài)勢嚴峻,深度偽造技術(shù)以假亂真,利用AI實施網(wǎng)絡(luò)攻擊趨勢抬頭……
人工智能作為引領(lǐng)新一輪科技革命和產(chǎn)業(yè)革命的戰(zhàn)略性技術(shù),深刻改變?nèi)祟惿a(chǎn)、生活方式,但在引領(lǐng)生產(chǎn)力革命性躍遷和生產(chǎn)關(guān)系深層次變革的同時,也給網(wǎng)絡(luò)安全帶來了新的威脅和挑戰(zhàn)。如何準確應(yīng)對“AI+”時代的網(wǎng)絡(luò)威脅?強化風(fēng)險感知和預(yù)警能力,“用AI對抗AI”,成為擺在人類面前的新課題。
生成式AI濫用,“李鬼”風(fēng)險不斷
“這是人工合成的假視頻,講話聲音是我,但內(nèi)容不是我的?!?0月11日,在江西南昌一場國際學(xué)術(shù)年會上,中國工程院院士、天津中醫(yī)藥大學(xué)名譽校長張伯禮在作報告時幽默地說:“凡是‘捎貨’(帶貨)的肯定不是我!”
會議上,張伯禮院士提醒大家對一些短視頻注意鑒別。原來,今年網(wǎng)絡(luò)平臺上出現(xiàn)了多個關(guān)于“張伯禮”帶貨某美白護膚品的短視頻。實際上,這些都是經(jīng)由AI制作的。這些合成視頻使用張伯禮院士的形象和聲音,達到以假亂真的效果。
新的技術(shù)應(yīng)用發(fā)展的同時,運用網(wǎng)絡(luò)、信息技術(shù)侵害肖像權(quán)、名譽權(quán)等人格權(quán)的情形也經(jīng)常出現(xiàn)。今年6月,最高人民法院發(fā)布的6起濫用信息技術(shù)侵犯人格權(quán)案例中,不乏未經(jīng)許可AI化使用他人聲音、擅用他人肖像供用戶“換臉”等。
國家計算機病毒應(yīng)急處理中心高級工程師杜振華告訴記者,2023年以來,隨著生成式AI的普及和規(guī)?;瘧?yīng)用,其強大的內(nèi)容生產(chǎn)和模仿能力在推動創(chuàng)新的同時,也催生了深度偽造、算法偏見等風(fēng)險。
公安部網(wǎng)安局今年9月披露的打擊整治網(wǎng)絡(luò)違法犯罪典型案例中,涉及多起利用AI工具編造謠言、網(wǎng)絡(luò)暴力、開盒網(wǎng)暴、侵犯公民個人信息等案件。包括“樺加沙”臺風(fēng)逼近廣東沿海地區(qū),社交平臺上出現(xiàn)多張所謂“深交所門前牛雕塑被拴”“車輛被五花大綁”圖片,均被證實系A(chǔ)I合成;河南發(fā)生區(qū)域性暴雨天氣期間,多個賬號發(fā)布的內(nèi)容也實為用AI技術(shù)拼湊、剪輯生成的虛假視頻。
“金融行業(yè)中,一些機構(gòu)的身份驗證被AI換臉攻破。今年6月,不少高校也要求畢業(yè)論文必須進行AI檢測?!敝袊茖W(xué)院計算技術(shù)研究所前瞻研究實驗室主任曹娟說,大模型普及之后,他們發(fā)現(xiàn)很多行業(yè)都需要鑒偽。
AI化身智能體,自主進攻難捉摸
今年年初,“2025年哈爾濱第九屆亞冬會”遭受境外網(wǎng)絡(luò)攻擊事件引發(fā)廣泛關(guān)注。國家計算機病毒應(yīng)急處理中心等有關(guān)技術(shù)團隊持續(xù)攻堅,成功追查到美國國家安全局(NSA)的3名特工和兩所美國高校,參與實施了針對亞冬會的網(wǎng)絡(luò)攻擊活動。研究發(fā)現(xiàn),此次攻擊利用了AI智能體進行工具方案規(guī)劃、漏洞探尋和流量監(jiān)測等工作,部分代碼明顯由AI書寫,可以在攻擊過程中自動、快速編寫動態(tài)代碼實施攻擊。
所謂智能體化AI,是指具備自主決策能力的人工智能系統(tǒng)。AI智能體一旦被用于網(wǎng)絡(luò)攻擊,其自主性、隨機性將大大提升網(wǎng)絡(luò)安防的難度。
“不久前,境外網(wǎng)絡(luò)公司披露一個已知的AI勒索軟件,該勒索軟件使用OpenAI公司的開源大模型生成惡意勒索程序,利用AI技術(shù)可以自主決定搜索或加密哪些文件?!惫膊坑嘘P(guān)負責(zé)人在9月底召開的第三屆網(wǎng)絡(luò)空間安全(天津)論壇上介紹。
中興通訊股份有限公司副總裁王繼剛表示,智能體是未來AI應(yīng)用的重要方式?!爸悄荏w會自動感知接觸到的環(huán)境,并在運行過程中不受人工干預(yù),能以目標為導(dǎo)向?!彼J為,智能體攻擊的形式多種多樣,其大規(guī)模應(yīng)用帶來的總攻擊面會更大,影響也更復(fù)雜。
目前,網(wǎng)絡(luò)上已出現(xiàn)多款輔助網(wǎng)絡(luò)攻擊的大模型工具,一些網(wǎng)絡(luò)“黑產(chǎn)”工具也正積極接入AI。國家計算機病毒應(yīng)急處理中心聯(lián)合其他權(quán)威機構(gòu)發(fā)布的《網(wǎng)絡(luò)空間安全態(tài)勢分析報告(2025)》指出,相較去年,今年發(fā)生的AI相關(guān)網(wǎng)絡(luò)與數(shù)據(jù)安全事件與風(fēng)險顯著增加。
不過,在專家看來,當(dāng)前AI強大的數(shù)據(jù)處理、模式識別和自動化的能力,也能為網(wǎng)絡(luò)安全提供新的解決方案和防御策略,AI智能體的融入將使網(wǎng)絡(luò)安全防御從被動響應(yīng)向主動預(yù)測和自動防御轉(zhuǎn)變,AI網(wǎng)絡(luò)攻防對抗態(tài)勢或?qū)⑦M入“智能體驅(qū)動”的新階段。也有觀點認為,未來的網(wǎng)絡(luò)安全之戰(zhàn)可能會演變?yōu)椤癆I之間的對抗”。
在安恒信息技術(shù)股份有限公司董事長范淵看來,AI智能體能快速生成動態(tài)仿真系統(tǒng),結(jié)合AI的自動化編程、數(shù)據(jù)生成等,AI可以實時根據(jù)攻擊行為,預(yù)測攻擊者下一個相關(guān)的動作,從而生成對應(yīng)的預(yù)防策略。
技術(shù)風(fēng)險管控,亟待多方協(xié)同
在不少業(yè)內(nèi)人士看來,現(xiàn)在不應(yīng)再探討AI是不是有危害,而是到了研究怎樣讓AI健康發(fā)展的階段,發(fā)展安全可控的AI,重構(gòu)網(wǎng)絡(luò)安全治理體系是一項系統(tǒng)性工作,需要治理制度、技術(shù)創(chuàng)新、產(chǎn)業(yè)生態(tài)等協(xié)同推進。
“AI安全風(fēng)險源于AI向‘超人’化演進。解決AI‘超人’問題,關(guān)鍵是管好‘框、數(shù)、人、鏈’四個環(huán)節(jié),把AI嵌在安全體系里,把體系落在場景中,重塑適配時代需求、業(yè)務(wù)場景的內(nèi)生安全體系,增強數(shù)智系統(tǒng)的內(nèi)在免疫力?!逼姘残趴萍技瘓F董事長齊向東說。
為此,中國不斷延伸AI領(lǐng)域治理鏈條。今年9月1日,《人工智能生成合成內(nèi)容標識辦法》及配套強制性國家標準《網(wǎng)絡(luò)安全技術(shù) 人工智能生成合成內(nèi)容標識方法》正式生效,明確要求所有傳播的AI生成內(nèi)容必須添加顯式或隱式標識,AI生成內(nèi)容強制亮明“數(shù)字身份證”。業(yè)內(nèi)認為,這意味著中國在內(nèi)容安全治理上邁出關(guān)鍵一步。
與此同時,近年來,中國公安機關(guān)作為維護網(wǎng)絡(luò)安全的重要力量,持續(xù)開展多個專項行動,有效應(yīng)對一系列網(wǎng)絡(luò)安全風(fēng)險與挑戰(zhàn)。
國際刑警組織網(wǎng)絡(luò)犯罪局局長尼爾·杰頓說,網(wǎng)絡(luò)犯罪在全球是一個嚴重的問題,全球網(wǎng)絡(luò)犯罪經(jīng)濟規(guī)模已超10.5萬億美元。在今年針對惡意軟件的“安全亞洲”活動中,國際刑警組織和中國緊密合作,關(guān)閉了20000多個惡意IP,查獲了100GB的數(shù)據(jù)?!俺晒Φ木W(wǎng)絡(luò)安全行動根基在于合作?!彼f,未來將綜合運用AI等新技術(shù)進行跨國打擊行動。
“網(wǎng)絡(luò)安全威脅沒有國界,任何一個國家發(fā)現(xiàn)的漏洞都可能在幾分鐘之內(nèi)波及其他國家。構(gòu)筑網(wǎng)絡(luò)安全不能各自為政。”尼日利亞國家信息技術(shù)發(fā)展局局長卡希夫·伊努瓦·阿卜杜拉希說,“區(qū)域和全球合作是必經(jīng)之路?!?/p>
清華大學(xué)公共管理學(xué)院教授、人工智能國際治理研究院副院長梁正建議,在“AI+”時代,要通過國際合作推動能力建設(shè)、風(fēng)險共管和規(guī)則標準互認,同時探索針對特定議題的小切口治理合作,攜手構(gòu)建包容普惠的全球AI治理體系。(記者 李鯤 楊文 黃江林)
友情鏈接: 政府 高新園區(qū)合作媒體
Copyright 1999-2025 中國高新網(wǎng)chinahightech.com All Rights Reserved.京ICP備14033264號-5
電信與信息服務(wù)業(yè)務(wù)經(jīng)營許可證060344號主辦單位:《中國高新技術(shù)產(chǎn)業(yè)導(dǎo)報》社有限責(zé)任公司