Kimi 是北京月之暗面科技有限公司旗下的智能助手产品,有着超大“内存”的智能助手,支持输入 20 万汉字的超长文本输入,可以理解为能一口气读完 20 万字的小说。
北京月之暗面科技有限公司的创始人之一杨植麟,毕业于清华大学计算机学系,后前往美国卡内基梅隆大学读博,师从苹果 AI 研究负责人 Ruslan Salakhutdinov 。
简单试用了一下,分享几个特点:
长文本理解能力
Kimi Chat 最多支持 20 万汉字的超长文本输入,是目前全球市场上将大模型能力产品化中所能支持的最长上下文输入长度,参考同类型的处理能力,Anthropic 旗下的 Claude-100k 模型支持约 8 万字, OpenAI 的 GPT4-32k 只支持约 2.5 万字。
长文本理解能力带来的好处是可以不间断的对内容进行输入输出,形成完整的理解能力和统一体验,虽然日常用户可能大概率不会完整的使用到那么长的文本体系去做对话和理解,但成本能力在某种程度上是对模型技术体系和工程化能力的一种考验。
此前杨植麟接受采访时强调,Kimi Chat 通过创新的网络结构和工程优化,在千亿参数下实现了无损的长程注意力机制,但不依赖于滑动窗口、降采样、小模型等常见的对性能损害较大的“捷径”方案。
实时网址内容索引分析
Kimi Chat 有一个非常实用的功能是把网址发给他,然后分析做解读。
目前很多模型类产品基于API或者功能上的设置,可以实现这样的功能,但多数是先对文本进行检索,然后用总结能力进行输出,总体试下来 Kimi Chat 的理解能力和总结能力都比较强,在准确度和易用性上面也强于同类型产品。
从功能的实现上来说并不复杂,将网址内容读取提取文本内容,再用模型做检索分析最后输出结论,只是从体验的流畅度上来说 Kimi 很不错。
除了网址之外,本地的文件发给 Kimi 也可以做类似对应的检索和分析,体验上也较为流畅。
从体验到能力的可能性
整体试用下来,已经取代了我用其余产品来对网址做内容总结的需求,除了它的流畅和易用性高之外,更重要的是他对内容理解确实要强一些,同类型产品通过分段文本作总结,有技术上的可取之处,但整体理解能力还是稍弱,所以单就这一个维度来说体验不错。
如果从这一基准点开始往外延展,长文本的理解能力在不断输入文本做体系的时候,也在不断对输出的服务做优化,无论是网址还是文件,后续还有很大的想象空间。