低时延对 Tab-Tab （cue）功能的关键作用
Tab-Tab （cue）功能的核心价值在于其能够在用户输入过程中实时提供智能建议。与聊天等主动型 AI 交互不同，Tab-Tab （cue）属于 "密集型、被动 AI" 交互模式，每天在每次按键时提供数千个建议。这种高频率、低感知的交互方式使得时延成为决定功能可用性的关键因素。
Tab-Tab （cue）是一种 "密集型、被动 AI"，每天在每次按键时提供数千个建议，这使得其价值相比聊天等指导性 AI 更为显著。
低时延对 Tab-Tab （cue）功能至关重要，主要体现在以下几个方面：
1. 实时响应需求： Tab-Tab （cue）功能需要在用户输入的过程中实时提供建议，只有当建议能够在用户输入下一个字符之前生成并显示，这一功能才能发挥其价值。
2. 持续输入的挑战： 开发者在编码过程中通常保持连续的输入节奏，如果系统无法在用户输入下一个按键之前生成建议，那么这次建议机会就会丢失。
3. 与质量的平衡： 理想的 AI 助手需要使用尽可能强大的语言模型和广泛的上下文来提供高质量建议，但 "足够低的延迟" 这一基本可用性要求使这种平衡变得复杂。
时延如何影响用户体验
时延直接影响 Tab-Tab （cue）功能的用户体验，具体表现在以下几个方面：
1. 反馈率下降： 延迟主要影响 "反馈率"（feedback rate），即开发者看到系统尝试提供建议的百分比。延迟增加导致反馈率显著下降。
2. 功能失效： 当延迟超过一定阈值时，Tab-Tab （cue）功能实际上会变得无法使用，因为建议无法在用户继续输入前显示出来。
3. 用户信任度降低： 高延迟会导致用户对功能的信任度下降，减少对建议的关注，进一步降低功能的有效价值。
以 Sourcegraph Cody 为例，其依赖第三方大型语言模型（LLM）导致建议时间达到几秒钟，使产品 "几乎无法使用"（borderline unusable）。这一案例清晰地表明，即使建议质量再高，如果无法及时呈现，Tab-Tab （cue）功能也将失去其核心价值。
延迟被确定为 AI 助手工具（特别是自动完成功能）的一个关键约束。即使一秒钟的延迟也会使 Tab-cue 建议变得无法使用。
时延相关的关键指标和阈值
为了量化时延对 Tab-Tab （cue）功能的影响，业界已经发展出一系列关键指标和阈值：
1. 一秒钟阈值： 对于 Tab-Tab （cue）功能，一秒钟被视为可接受延迟的上限阈值。超过这一阈值，建议将变得基本无法使用，因为用户很可能已经继续输入。
2. 反馈率： 反馈率是衡量 Tab-Tab （cue）功能有效性的重要指标，它表示开发者能够看到系统尝试提供建议的百分比。高延迟直接导致低反馈率。
3. 每次机会字符数： 这是量化 AI 自动完成工具价值的关键指标，它与反馈率密切相关。延迟增加会导致这一指标下降，反映出功能价值的降低。
4. 网络延迟基准： 在全球分布式环境中，网络延迟成为不可忽视的因素。例如，从加利福尼亚向印度发送 25-100KB 的文本大约需要 250 毫秒，这已经占用了大部分可接受延迟预算。
从加利福尼亚向印度发送 25-100KB 的文本大约需要 250 毫秒，这提供了网络传输延迟的参考基准，也说明了全球化服务面临的挑战。 5. 成本效益指标：延迟优化不仅关乎用户体验，也与服务成本密切相关。例如，GitHub Copilot 在服务成本上每位开发者每月花费超过 20 美元💵，而 Codeium 通过高效基础设施将成本降低到可以免费提供产品的水平。
