- 中國信通院
- 作者：
- 2025年6月25日 17:20
當前，以大模型為代表的生成式人工智能已深度融入到交通、醫療、金融、教育等領域，正步入產業落地的關鍵階段。在人工智能技術飛速發展的同時，安全風險防范成為行業發展的重點。中國信通院人工智能研究所安全與具身智能部主任石霖，就人工智能安全風險及防范策略進行了系統性介紹，為我國人工智能產業健康、可持續發展助力。
人工智能存在的安全風險
人工智能的安全風險呈現出復雜多樣的特性，主要涵蓋內生安全和衍生安全兩大層面。
內生安全層面，主要指人工智能系統自身所存在的風險，包括基礎設施、數據、模型、應用等自身安全帶來的風險問題。如近期開源跨平臺大模型推理工具Ollama被爆出存在默認配置下的未授權訪問漏洞就屬于內生安全的基礎設施安全風險；還有像之前新聞報道的“奶奶漏洞”等提示詞注入攻擊就是針對模型的內生安全風險。
衍生安全層面，主要更強調人工智能使用帶來的風險，特別是惡意使用、濫用，對個人、組織、社會和國家，甚至人類文明都可能產生安全風險。比如利用大模型生成虛假信息，進行電信詐騙、策劃暴力恐怖事件，未來強人工智能可能有自主意識，不受人類控制等。
人工智能安全風險的防范策略
面對這些復雜的安全風險，我國已經形成了體系化的人工智能安全治理方案，并注重舉措的落地實效。
頂層設計方面，我國出臺《網絡安全法》《數據安全法》和《個人信息保護法》，筑牢法治屏障。針對算法推薦、深度合成、生成式人工智能等重點領域也出臺相關管理辦法或規定，提出算法備案、安全評估、內容標識等明確要求，逐步形成人工智能體系化治理框架。
標準化建設方面，在發布《國家人工智能產業綜合標準化體系建設指南（2024版）》的基礎上，工信部“人工智能標準化技術委員會”還專門發布了“工業和信息化領域人工智能安全治理標準體系建設指南（2025）”。
這些政策法律、標準規范都為我們開展人工智能發展和安全工作指明了方向。
在技術實踐層面，產業界除按照相關政策法規要求搭建內部風險合規體系外，還正形成“測-檢-防”三位一體的人工智能安全技術體系。其中，“測”是指通過紅隊測試的方式挖掘人工智能基礎設施、模型算法、應用平臺的缺陷漏洞；“檢”是在應用過程中通過護欄等技術手段持續檢測系統輸入輸出的內容，防范違規有害信息以及敏感信息泄露，還可以從一定程度上緩解模型幻覺問題；“防”是指根據“測”和“檢”發現的問題，持續通過模型微調、安全對齊等手段，對模型進行安全加固，提升模型的內生安全能力。
攜手共建人工智能安全生態
近年來，中國信通院在人工智能安全治理領域開展了大量卓有成效的研究工作，既有標準研制、風險管理體系搭建、合規咨詢等“軟能力”，又有大模型安全基準測試、安全自動化評估平臺、“智盾”大模型安全對齊及護欄等“硬能力”。
值得一提的是，中國信通院作為國家“人工智能發展與安全研究網絡”的成員單位、北京前瞻人工智能安全與治理研究院的發起單位，曾榮獲首屆生成式人工智能安全大賽“安全攻擊”賽道冠軍，并于2024年聯合百度、阿里、深度求索等單位共同簽署《人工智能安全承諾》，也與英國、新加坡等國家的人工智能安全研究機構保持著交流合作關系。
中國信通院將繼續發揮自身優勢，攜手各方力量，為人工智能的健康發展保駕護航。通過不斷完善人工智能安全治理體系，推動技術創新與應用落地，中國信通院將助力我國人工智能產業在安全可控的軌道上加速前行，為我國數字經濟的高質量發展注入強大動力。
