谷歌 Apigee 添加了内置的 LLM 治理 Model Armor(谷歌怎么添加)

谷歌 Apigee 添加了内置的 LLM 治理 Model Armor(谷歌怎么添加)

作者 | Leela Kumili

译者 | 刘雅梦

策划 | 丁晓昀

谷歌云推出了 Model Armor 的 公开预览版,这是一个集成到 Apigee API 管理平台的原生『大语言模型』(LLM)治理框架。一篇社区帖子中详细介 绍了 Model Armor,它引入了针对 LLM 特定策略的即开即用执行,例如提示验证、输出过滤和 API 层的 token 级控制。

这些策略可以检测到越狱尝试、提示注入和个人身份信息(PII)暴露等问题,允许根据需要对输出进行编辑、更改或阻止,而无需修改下游系统。根据谷歌的说法,“有了 Model Armor,企业可以像对待传统 API 一样严格地对 LLM 流量进行同样的治理”。

这些控制用 Apigee 基于 XML 的策略语言表示,允许团队将 LLM 安全规则集成到现有 API 中。一个 实践教程 展示了如何应用这些策略,涵盖了提示检查、token 配额和与 Vertex AI 的集成。教程包括一个可下载的代理模板和配置 Model Armor 执行规则的分步指导。策略执行在代理层应用,以实现服务和端点之间的一致性。

Apigee 和 Model Armor 架构(来源:谷歌社区帖子)

Model Armor 支持多个 LLM 提供商,包括 Vertex AI(Gemini、Meta Llama)、OpenAI、Anthropic 和自托管模型,允许在异构架构中进行集中治理。

此外,谷歌已将 Model Armor 与 Google Kubernetes Engine(GKE)和 Security Command Center 集成。这允许组织直接在 GKE 集群中运行的推理网关或在『负载均衡』器上部署 Model Armor 策略。这些策略在模型提示和响应到达内部服务之前进行检查。任何违规行为都会作为安全发现出现在 Security Command Center 中,提供集中监控、预警和修复工作流程。这种集成加强了 Model-Armor 作为 LLM 流量治理和更广泛的云安全运营之间桥梁的地位。

Apigee 作为 LLM 应用程序和模型之间的网关(来源:谷歌社区帖子)

该框架为每次策略评估记录了详细的元数据,包括触发的过滤器和执行结果。这些日志输入到 Apigee 的可观测性和日志管道中,支持监控、异常检测和 LLM 行为的事后分析。

虽然其他 API 网关也提供了通用流量控制,但它们通常需要自定义中间件来实现模型级安全。Model Armor 旨在通过在 Apigee 中提供原生的 LLM 特定策略执行来消除这种复杂性。

特别声明:[谷歌 Apigee 添加了内置的 LLM 治理 Model Armor(谷歌怎么添加)] 该文观点仅代表作者本人,今日霍州系信息发布平台,霍州网仅提供信息存储空间服务。

猜你喜欢

『胡歌』北漂失败,回老家被家人暴击!电影走走停停中的家庭哲学(『胡歌』的遭遇)

他的父母是普通的工薪阶层,父亲在一家工厂工作,母亲则是一名小学教师。 在电影中,吴迪的父母对儿子的选择表示出了极高的接纳和理解。 这种家庭的支持和理解让吴迪感受到了无尽的力量和勇气,他更加坚定了自己的创业决…

『胡歌』北漂失败,回老家被家人暴击!电影走走停停中的家庭哲学(『胡歌』的遭遇)

Audition左声道填充右声道或者右声道填充左声道(au左声道怎么变成双声道)

我们从网上找的音频素材,或者自己准备的音频素材有时候只有一个声道有声音,而另外一个声道没有声音,如下图所示;以上就是三郎老师给大家分享的“”相关知识,希望对你学习AU有所帮助! 操作AU遇到问题,欢迎咨询…

Audition左声道填充右声道或者右声道填充左声道(au左声道怎么变成双声道)

被寄白蜡烛、遭全网黑,『张艺兴』为何却成归国四子最后赢家?(白蜡烛可以随便点吗?)

"就算有人把我绊倒,我相信总会有人伸手扶我"——说这话时,『张艺兴』正把浸透汗水的背心拧成瀑布。这个在仓库睡觉的练习生不会想到,十二年后自己会带着《千里江山图》"大闹"鸟巢

被寄白蜡烛、遭全网黑,『张艺兴』为何却成归国四子最后赢家?(白蜡烛可以随便点吗?)

妙玛食品级PE保鲜膜大卷|冰箱水果密封神器,耐高温还环保?

妙玛食品级PE保鲜膜大卷,专为家庭厨房设计,采用食品级安全材质,可耐高温至120℃,适合冰箱储存水果、蔬菜、熟食等。主打“大卷经济装”,性价比高,密封性强,无毒无味,使用安心。本文详解其材质安全标准、适用场景、选购技巧与真实使用体验,帮你避

妙玛食品级PE保鲜膜大卷|冰箱水果密封神器,耐高温还环保?

预制菜已经发展到认不出来的程度了?(预制菜的市场前景)

预制菜已经发展到认不出来的程度了?...

预制菜已经发展到认不出来的程度了?(预制菜的市场前景)