![]()
AI是否真正大規模進入核心業務,關鍵不在于模型能力又提升了多少,而在于一旦出現問題,系統能否被及時停下,過程能否被追溯,責任能否被清晰界定。在這些問題解決之前,安全都會是AI落地過程中最現實、也最難繞開的門檻。
作者|斗斗
編輯|皮爺
出品|產業家
攻擊一旦被AI變成一種“產能”,攻防關系面臨的則是結構性失衡。
這種變化已經開始在現實中顯現。
12月22日22時,快手遭遇大規模黑灰產攻擊,監測數據顯示峰值時段約有1.7萬個被控僵尸賬號同步開播推送色情低俗內容。事實上,攻擊手法并不新奇,真正改變戰局的是AI帶來的“杠桿效應”,即在AI的加持下,攻擊成本降到極低,攻擊效率反而被成倍放大,防守方的響應能力首次被壓制在對手之下。
這并非孤立事件。一組來自OECD的AI事件監測數據顯示,2024年的AI風險事件總數約是2022年的21.8倍,2019?2024年間記錄的事件中約74%與AI安全相關,安全與可靠性事件較2023年增長83.7%。
![]()
在這種背景下,安全的邏輯正在被迫重寫。
過去,企業在選擇大模型或Agent服務商時,性能、價格、生態幾乎天然排在最前面,安全更多被視為一種事后補救能力。但在一輪又一輪實戰之后,越來越多企業開始意識到,一旦將業務流程、用戶觸點乃至決策權交給AI,安全就不再是“事后諸葛亮”的選項,而是必須前置到選型階段。
而這場微妙的反轉,正在倒逼企業重新排序與AI相關的所有決策優先級。一組來自阿里云與Omdia聯合發布AI安全報告顯示,企業將安全與數據隱私視為AI主要障礙的比例,從2023年11%激增至2024年43%。
安全,第一次從“可選項”變成了AI能否落地的前置條件。
一、從探索到深水區,
AI安全成為落地前提
2025年,企業對“安全”的敏感度正迅速放大。
進入2025年,AI已從技術探索階段邁入企業業務的深度應用場景。麥肯錫《ThestateofAIin2025》報告顯示,88%的受訪企業表示已在至少一個業務職能中使用AI技術,比去年整整高出了10個百分點。
![]()
而隨著AI使用范圍和能力的遷移,企業對安全的敏感度正在迅速放大。要知道早期的AI應用多停留在撰寫文案、內容生成及簡單數據分析等輔助性場景,這類應用即便出現誤判或偏差,對業務本身的損害有限。但是隨著AI加速落地,其開始被賦予更強的權限,例如讀取業務數據、調取內部系統、參與流程決策等。
Gartner預測,到2028年33%的企業軟件將包含AI代理功能,可自主完成15%的人類日常工作決策,權限擴張帶來的風險敞口持續擴大。
在這種背景下,AI一旦失控,就不再是一個輸出錯誤那么簡單,而可能會直接暴露敏感數據或影響生產與交易流程。
這種擔憂并非空穴來風。一家來自HarmonicSecurity的分析顯示,在2025年二季度,企業使用的各類GenAI平臺中,超過4%的對話、20%以上的上傳文件都包含敏感企業數據。這意味著一旦管控不到位,風險會在日常使用中被持續放大。
也正因為如此,安全不再是可有可無的選項。根據賽博研究院發布的《2025全球可信AI治理與數據安全報告》顯示,模型的準確性與穩定性是企業最看重的因素,緊隨其后的便是占據79%數據使用的合規性與隱私保護、和占據54%的總擁有成本與投資回報比。安全,正在被主動前移到項目啟動和技術選型階段,成為企業AI落地的關鍵前提。
這一點,已經成為頭部企業的共識。
一則全球16家頭部AI企業簽署的“前沿人工智能安全承諾”中,明確提出“開發和部署前沿AI模型和系統時需有效識別、評估和管理風險,設定不可容忍風險的閾值”,印證了安全已成為行業共識的核心指標。
這種風險感知,具體還體現在企業選擇合作伙伴和推進項目的實際流程中。
例如,一家大型制造企業IT負責人向產業家透露,過去只要模型在試點階段跑通業務場景,就可以進入下一階段評估。但在最新一輪Agent能力測試中,該企業要求測試包括提示注入、越獄風險、越權調用等負面測試用例,否則該方案直接無法進入評審環節。
再比如,有證券行業的CIO在內部郵件中明確要求:AI平臺必須支持企業私有部署或VPC隔離,并禁止任何業務數據用于第三方訓練,否則不予進入第二輪評估。這一類條款的出現,反映出企業在第一階段,就開始把數據安全和訪問控制,作為了篩選供應商的核心條件。
可以發現,安全不再是一個孤立的成本中心,而是決定AI能否被廣泛采納、可信賴運營的核心條件。更重要的是,安全也正成為企業生態中信任的最重要貨幣。在合作伙伴選擇、行業合作框架、客戶合同談判中,AI安全保障已經成為談判桌上的核心條款之一,甚至直接影響合同簽約與商業合作成敗。
在這其中,誰能在效率紅利與安全紅線之間找到更穩妥的平衡,誰才有資格在下一階段的AI競爭中真正跑在前面。
二、安全“前移”AI選型,
正在改變安全競爭格局
在2025年,國內首次進行了AI大模型實網眾測,發現了281個安全漏洞,其中大模型特有漏洞177個,占比63%。這些漏洞包括提示注入、越獄攻擊、對抗樣本等傳統安全體系無法覆蓋的威脅類型。
傳統安全廠商的策略,已經無法承受AI時代的新攻擊手段。
隨著AI技術的普及徹底改變了網絡攻擊的底層邏輯。安全廠商要做的事情越來越多,但價值越來越難量化。但這不是廠商能力的問題,而是產業結構轉向責任共擔。這對產業的影響是深刻的。一方面,安全能力將不可避免地被“內嵌化”,融入云平臺、模型底座、業務系統,獨立交付的空間被不斷壓縮;另一方面,安全廠商如果無法提供治理層面的價值,就會被邊緣化為某種可替換能力模塊。
而想要避免成為被內化的那一個,則必須讓自己成為系統運行過程中繞不開的一環。
![]()
以360、奇安信、深信服、綠盟科技為代表的傳統網絡安全廠商,整體策略并非推倒重來,而是將AI視為能力增強器,選擇在既有安全產品與平臺中嵌入大模型能力。
以360為例,其在2023年正式發布“AI原生安全大模型”,宣稱基于超過40PB的安全樣本數據、數十年攻防對抗經驗,用于APT攻擊檢測、威脅情報自動挖掘和安全事件研判。據其披露,在APT告警去重和誤報壓縮方面,模型輔助分析可將人工分析成本降低50%以上。
這一路徑的優勢非常明顯。根據賽迪顧問數據,中國政企網絡安全市場中,頭部廠商在政府、金融、能源等行業的存量覆蓋率普遍超過60%,可以說傳統廠商牢牢掌控政企安全入口。
與傳統廠商不同,阿里云、騰訊云、百度智能云等云服務商選擇從基礎設施與平臺層入手,將安全能力直接“內建”到AI的全生命周期中。
在實際落地上,這類廠商普遍在模型托管、推理調用、插件接入、Agent編排等環節,默認啟用安全控制策略,并將身份、權限、數據、模型版本與AI使用過程進行強綁定。例如阿里云在其大模型服務平臺中,將API調用鑒權、Prompt審計、RAG數據訪問權限作為默認能力;騰訊云在企業大模型平臺中,將模型調用與企業IAM、日志審計、數據分級打通;百度智能云則在Agent構建框架中限制外部工具調用權限,降低模型“越權執行”風險。
這類廠商由于安全能力被嵌入到主路徑中,其邊際成本幾乎為零。尤其在Prompt注入、RAG檢索污染、Agent工具濫用等新型攻擊面上,平臺級約束明顯比事后檢測更具規模效率。
另一類重要玩家,是聚焦細分場景的垂直安全廠商。以數美科技為例,其長期深耕內容安全、反欺詐、黑產行為建模。在生成式AI場景下,數美將原有的風控模型遷移至AI濫用治理中,用于識別惡意Prompt、自動化詐騙腳本生成、虛假內容批量生成等行為。據公開案例,其在部分社交與內容平臺中,AI濫用識別的命中率已高于90%。
這類廠商的優勢在于專業能力聚焦,模型對抗經驗深。能高風險場景中提供不可替代價值。
近年來,也有一批原生AI安全廠商正快速崛起。這類公司并非從傳統安全體系演進而來,而是直接聚焦模型本體與智能體層,從設計階段降低風險。這類廠商通常技術迭代快、對新型對抗攻擊高度敏感,在模型級安全上具備先發優勢。
綜合來看,在生成式AI的持續壓力下,安全產業的分工正在重排。不同位置的廠商,正從各自的切口出發,共同托起一套亟需重構、尚未定型的“新安全體系”。
三、AI安全的能力邊界:
無法“清零”,只能“控損”
當安全被推到AI選型的前臺,一個繞不開的問題也隨之浮現:安全是不是越強越好?是否存在足夠安全?
答案并不樂觀。OpenAI曾在公開研究中給出過一組判斷:在AI瀏覽器、Agent等場景中,提示注入屬于結構性風險。即便持續加固,安全系統也無法做到100%攔截,最優狀態,最優防護僅能將攻擊成功率壓至5%-10%。
這一點,在數美科技CTO梁堃的判斷中同樣明確:“當前實現對黑灰產的百分之百阻斷,并不現實。”
不過,需要澄清的是,并非所有AI場景都把安全放在第一位。
在大量探索性與邊緣業務中,企業依然會選擇效果優先。例如內部知識助手、營銷內容生成、數據分析Copilot,這些場景要么不接觸敏感數據,要么不具備執行權限,即便模型出現偏差,風險也相對可控。在這些場景中,企業更關心的是投入產出比,而非安全治理的完備性。
真正發生轉折的,是AI開始進入核心業務鏈路之后。在涉及客戶數據、交易決策、生產調度、風控審核等場景中,企業往往會迅速收緊策略,將安全前置為硬約束。
這種認知轉變,直接帶來了三種明顯的使用方式變化。
第一種轉向,是從“能跑”到“能控”。
在安全前置后,企業普遍開始限制模型可觸達的數據范圍。原本可以全量接入的數據,被拆解為分級、分域、分場景使用;RAG檢索不再“全庫召回”,而是限定在經過審核的知識集合中。這可能會導致模型在某些任務上的準確率可能下降,召回率受到影響,業務側不得不投入更多精力進行數據治理與結構化整理。
不過,這并非技術倒退。對企業而言,寧愿犧牲部分效果,也不愿承擔不可控風險。
第二種轉向,是從“可用”到“可審”。
隨著AI被納入正式生產環境,是否具備審計與留痕能力,成為一道關鍵門檻。Prompt是否可追溯?模型引用了哪些檢索內容?Agent調用了哪些工具、在什么時間、以什么權限執行?這些原本屬于工程細節的問題,開始被寫進驗收清單。
這會直接導致系統復雜度和成本上升,比如調用鏈變長、延遲增加、算力消耗提高。但在ToB場景中,可解釋性往往比極致效率更重要。能不能說清楚發生了什么,開始成為比跑得快不快更重要的指標。
第三種轉向,則是從“自動化”到“半自動化”。
在很多核心業務場景中,企業并未選擇讓Agent全自動執行,而是采用“建議+人審+執行隔離”的模式。AI給出決策建議,人類完成最終確認,關鍵操作與生產系統隔離。這種模式顯然拉長了流程,也限制了調度規模,但它符合當前企業對風險的容忍度。
在這一階段,安全的作用不再是提升攔截率,而是防止系統失控。也正是在這樣的實踐中,企業逐漸形成了清晰的內部分層。邊緣業務可以容忍更多不確定性,安全要求相對靠后;核心業務必須安全前置,且允許的自動化程度明顯更低。
值得注意的是,這種分層并非一成不變。隨著安全能力的成熟、治理經驗的積累,部分原本需要人工介入的環節,可能會逐步放權給AI。
從這個角度看,AI時代的安全,已經不再是“有沒有”的問題,而是“管到什么程度”的問題。通過限制數據、收緊權限、引入審計,把不可避免的風險控制在企業可以接受的范圍之內。這種安全實踐的深化,不僅改變了企業自身對AI治理的路徑,也使得整個產業對AI安全的認知正在發生根本性轉向。
可以預見,在相當長的一段時間里,AI安全都不可能靠一次性方案徹底解決。
在此過程中,企業對AI的使用會持續分化,即邊緣業務更看重效率和產出,而核心業務則會保持長期審慎。自動化不會簡單地“一步到位”,而是圍繞權限控制、審計機制和責任邊界逐步推進。AI的能力會不斷增強,但它被允許自主決策的空間,并不會必然同步擴大。
對安全產業來說,這同樣是一輪長期調整。單純依賴事后檢測的價值將持續下降,能夠參與系統設計、權限治理和運行約束的能力,反而會變得越來越關鍵。安全不再只是一個獨立產品,而更像是AI系統運行的前提條件。
從這個角度看,AI是否真正大規模進入核心業務,關鍵不在于模型能力又提升了多少,而在于一旦出現問題,系統能否被及時停下,過程能否被追溯,責任能否被清晰界定。
在這些問題解決之前,安全都會是AI落地過程中最現實、也最難繞開的門檻。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.