以 AI 网关作为 Dify 应用流量入口,可以在 AI 网关上通过配置集群限流,进行全局级、应用级等多维度流量控制。本节将以应用极限流为例进行简单介绍和演示。
为了实现全局级和应用级限流,需要额外引入 Redis 实例进行计数,在 Dify 系统的存储组成中,Redis 是必要组件之一,因此可以刚好复用 Dify 系统的 Redis。
在 AI 网关中完成 Redis 应用创建之后,在插件市场中使用基于 Key 集群限流插件,通过配置插件规则,即可实现针对不同 Dify 应用的限流策略。基于集群限流插件的详细使用方式见基于 Key 集群限流【2】。
以下图为例,假设对某 Dify 应用设置 1 分钟只允许通过一次的请求。
对该应用发起调用,当一分钟内发起第 2 次请求的时候,会因为触发 AI 网关限流规则,导致调用失败。但是调用其他应用时,由于无流控规则,依然能够无限制请求。