Kimi关联公司大语言推理系统专利获授权

企查查APP显示，近日，Kimi关联公司北京月之暗面科技有限公司申请的“一种大语言推理系统及方法”专利获授权。

专利摘要显示，本发明公开了一种大语言推理系统，包括：至少一个预填充计算单元，至少一个生成计算单元及缓存单元；至少一个预填充计算单元，用于根据当前推理请求及历史推理资源进行预填充，得到当前推理数据，发送当前推理数据至生成计算单元和缓存单元；至少一个生成计算单元，用于接收当前推理数据，并采用预设的大语言模型根据当前推理数据生成当前结果字，根据当前结果字生成当前推理结果发送至缓存单元，输出当前结果字至用户端；缓存单元，用于根据当前推理请求，保存当前推理数据，当前推理请求及当前推理结果。本发明提供的技术方案，可以减少推理过程中的计算量，提高推理结果自然语言的流畅性与连续性。