完善AI安全治理体系 前瞻性防范大模型应用风险

随着科技的不断创新与突破，人工智能大模型已成为引领技术革新、赋能产业发展的重要力量。特别是国产大模型DeepSeek以其低成本、高性能、开源普惠等显著优势，极大地降低了大模型应用门槛，掀起了一股AI热潮。然而，随着人工智能大模型在各个领域广泛应用，其引起的数据安全、技术应用、社会伦理等风险也逐渐显露出来，给金融机构安全稳定运行构成严峻挑战。建议在深化大模型应用的过程中，同步完善AI安全治理框架和风险防控制度体系，切实防范潜在风险隐患。

大模型在金融领域的应用前景广阔

国内外金融机构已通过多种方式布局和应用金融大模型。据公开资料统计，目前国内有18家银行先后部署了DeepSeek。其中，大型银行以自主研发为主，基于全栈自主可控的大模型平台引入并部署开源大模型底座，并探索在各类复杂业务场景中进行深度应用。中小银行则大多通过应用程序接口（API）接入开源大模型，或者与外部机构合作快速部署，并在某些场景开展试点应用。从各家银行的业务实践来看，大模型在金融领域的应用已覆盖智能营销、风险预警、辅助办公等前中后台各类业务场景，正深刻重塑金融行业的服务模式和业务形态（见表1）。

表1 大模型在金融领域的应用场景示例

未来，随着大模型持续升级迭代，生成式人工智能在改善客户体验、赋能业务发展、降低运营成本等方面的作用将进一步凸显，在金融领域应用的广度和深度也将持续提升。

大模型应用的安全风险不容忽视

尽管大模型在金融领域具有广泛的应用潜力和显著的优势，但在实际落地过程中仍面临技术挑战、产权保护、数据安全等诸多问题，可能给金融机构平稳运行带来挑战。

可靠性风险与解释性挑战。由于数据质量问题、模型泛化能力不足、训练方式缺陷、缺乏外部知识校验等原因，大模型在回答问题的相关性、保持上下文语境的一致性以及生成内容的真实性方面可能会存在错误，即存在答非所问、前后矛盾、肆意杜撰等幻觉问题。金融决策高度依赖数据的真实性和可靠性，如果大模型在提供市场预测、风险评估或投资建议时，生成了不真实或错误的信息，可能误导投资者和金融机构作出错误决策，继而引发财务损失、客户投诉和声誉风险。此外，大模型还存在“黑箱”问题，即由于大模型过于复杂，其工作原理缺乏可解释性和透明度。用户在不清楚模型的判断依据和决策逻辑的情况下，难以进行有效的风险溯源和管理。这个问题也限制了大模型在准确性、可靠性要求较高领域的深度应用。

侵犯知识产权和客户隐私风险。目前主流的大模型训练数据集中有5%—10%的内容来自版权保护的网页，这些内容的使用可能未经版权持有者的明确授权，因此金融机构在将大模型用于商业用途时，可能存在潜在的侵权风险。此外，大模型在运用于客户营销、风险评估等业务场景时，往往需要多维度客户信息（如消费记录、社交行为、地理位置等）进行训练，以提高模型预测精度，这可能导致过度采集客户数据，超出个人信息保护法规定的“最小必要”范围，引发侵犯客户隐私的风险。

数据安全风险。大模型相关数据安全风险主要包括两种情况：一是请求数据泄露，即在模型的训练、推理或与外部系统交互过程中输入内部敏感数据，导致信息外泄。例如，三星公司在引入ChatGPT后的20多天内，就因为员工直接将企业机密信息以提问方式输入ChatGPT，发生了3起泄密事件。二是数据窃取攻击。由于当前主流的脱敏算法对大模型的隐私保护效果有限，不法分子可能通过精心设计的诱导式交互，从大模型的回复中提取、重建出模型训练期间使用的敏感数据，并用于身份盗窃、金融诈骗或其他恶意活动。

恶意攻击引发的安全风险。除传统的网络攻击外，大模型还面临着模型窃取攻击、对抗样本攻击、指令攻击等多种恶意攻击。其中，模型窃取攻击指通过查询合成等方法，获取模型结构、训练方法、功能特点、关键参数等信息。如攻击者完全掌握模型，可能会实施更有针对性、更加危险的“白盒攻击”。对抗样本攻击指利用模型对特定扰动的敏感性，突破模型防御机制，降低模型预测的准确性和稳定性。指令攻击指通过输入恶意指令，诱导大模型忽略内容审核准则，生成不符合中国金融伦理和价值观的内容，引发负面舆情和其他风险事件。

市场关联性及脆弱性上升风险。不同金融机构往往运用相似的数据和算法训练大模型，在面对相同的市场信息时，大模型也可能会输出相似的投资建议，导致金融机构交易行为趋同、加剧市场波动。特别是当市场受到外部冲击时，金融机构同时采取恐慌性抛售等应对措施，会推动市场进一步下行，甚至形成恶性循环、引发金融危机。

完善AI安全治理框架和风险防控体系

AI应用相关风险不仅关乎金融机构自身运行安全，还可能危及社会公众切身利益。在深化大模型应用的过程中，要坚持发展与安全并重、创新与治理相结合的原则，前瞻抓好潜在风险防范，更好地发挥科技赋能业务高质量发展的作用。

完善AI应用安全治理框架。一是完善管理架构。建立人工智能相关事项决策和议事协调机制，明确大模型训练、部署、使用等环节工作流程和各部门权责分工，为人工智能健康发展和规范应用提供有力组织保障。二是打造专业队伍。加大金融科技复合型人才培养引进力度，开展大模型使用规范和风险防控专题培训，提升员工AI素养和安全合规意识。三是纳入全面风险管理。强化大模型风险管理的数据、科技和平台支撑，建立产品成熟度和风险等级评测机制，对大模型的应用设置必要的限制与边界，确保技术不会被应用于未经充分验证的场景。

健全人工智能管理制度体系。我国在鼓励技术创新、促进产业发展的同时，越来越重视人工智能和大模型的安全监管。目前，除个人信息、数据安全、网络监管等领域法律法规外，有关部门还专门出台了《生成式人工智能服务管理暂行办法》和《人工智能生成合成内容标识办法》等政策文件，为生成式人工智能健康有序发展奠定了坚实的制度基础。建议加快推进AI领域现有规章制度的内化实施，密切关注《人工智能法》立法进展，抓紧制定完善信息采集、数据保护、伦理审查、风险评估、应急处置等制度机制，确保大模型的应用安全、可控、合规。

加强大模型开发应用全流程风险防控。模型训练阶段，加强对数据来源的合法合规性审查，对训练数据集中的个人信息进行去标识化处理或用遗忘算法进行脱敏，增强数据安全性和隐私保护。在模型测试阶段，开展对抗性训练、模拟攻击测试、伦理与法律审查，全面排查模型安全漏洞和潜在风险，有效提升模型稳健性和抗干扰能力。在模型交互阶段，建立内置敏感词库与违禁内容识别模型，对用户输入和模型输出内容进行检测和过滤，确保模型不生成有害内容和误导性信息。此外，还要建立大模型应用风险动态评估机制，定期对模型进行升级优化，以适应不断变化的法规环境和技术发展趋势。

深化人工智能安全治理跨界合作。第一，加强银政对接，密切关注AI安全风险监管政策制定情况，积极参与金融行业大模型安全标准建设，推动完善大模型安全治理和风险管控体系。第二，加强产学合作，引入更先进的模型架构和学习算法，持续优化提升自有大模型性能，增强客户服务能力和市场竞争力。第三，加强行业协同，建设大模型底座漏洞、外部攻击威胁等风险信息共享平台，完善重大突发事件协调机制和应急预案，提升整个行业的风险应对能力。

作者单位：中国农业银行

责任编辑：张志敏