作者 | Leela Kumili
译者 | 刘雅梦
策划 | 丁晓昀
谷歌云推出了 Model Armor 的 公开预览版,这是一个集成到 Apigee API 管理平台的原生大语言模型(LLM)治理框架。一篇社区帖子中详细介 绍了 Model Armor,它引入了针对 LLM 特定策略的即开即用执行,例如提示验证、输出过滤和 API 层的 token 级控制。
这些策略可以检测到越狱尝试、提示注入和个人身份信息(PII)暴露等问题,允许根据需要对输出进行编辑、更改或阻止,而无需修改下游系统。根据谷歌的说法,“有了 Model Armor,企业可以像对待传统 API 一样严格地对 LLM 流量进行同样的治理”。
这些控制用 Apigee 基于 XML 的策略语言表示,允许团队将 LLM 安全规则集成到现有 API 中。一个 实践教程 展示了如何应用这些策略,涵盖了提示检查、token 配额和与 Vertex AI 的集成。教程包括一个可下载的代理模板和配置 Model Armor 执行规则的分步指导。策略执行在代理层应用,以实现服务和端点之间的一致性。
Apigee 和 Model Armor 架构(来源:谷歌社区帖子)
Model Armor 支持多个 LLM 提供商,包括 Vertex AI(Gemini、Meta Llama)、OpenAI、Anthropic 和自托管模型,允许在异构架构中进行集中治理。
此外,谷歌已将 Model Armor 与 Google Kubernetes Engine(GKE)和 Security Command Center 集成。这允许组织直接在 GKE 集群中运行的推理网关或在负载均衡器上部署 Model Armor 策略。这些策略在模型提示和响应到达内部服务之前进行检查。任何违规行为都会作为安全发现出现在 Security Command Center 中,提供集中监控、预警和修复工作流程。这种集成加强了 Model-Armor 作为 LLM 流量治理和更广泛的云安全运营之间桥梁的地位。
Apigee 作为 LLM 应用程序和模型之间的网关(来源:谷歌社区帖子)
该框架为每次策略评估记录了详细的元数据,包括触发的过滤器和执行结果。这些日志输入到 Apigee 的可观测性和日志管道中,支持监控、异常检测和 LLM 行为的事后分析。
虽然其他 API 网关也提供了通用流量控制,但它们通常需要自定义中间件来实现模型级安全。Model Armor 旨在通过在 Apigee 中提供原生的 LLM 特定策略执行来消除这种复杂性。