月之暗面最近发布了全球首个支持20万字输入长度的大模型Moonshot AI,以及搭载该模型的智能聊天工具Kimi Chat。Moonshot AI的创始人杨植麟曾在CMU学习AI,被视为中国本土“OpenAI”的候选人之一。相比其他模型,Moonshot AI通过存储、算力等多方面优化,实现了长文本处理的突破,标志着生成式AI进入长文本时代。Moonshot AI通过避免“鲸鱼模型”“蜜蜂模型”“蝌蚪模型”的捷径,实现真正的长文本理解。计划明年推出多模态能力,进一步扩展应用边界。
相关推荐
北大团队提出全新框架LIFT 将长上下文知识注入模型参数
北京大学张牧涵团队提出了一种全新的框架——Long Input Fine-Tuning (LIFT),通过将长输入文本训练进模型参数中,使任意短上下文窗口模型获得长文本处理能力。这一方法颠覆了传统的长文本处理思路,不再专注于无限扩充上下文窗口,而是将长文本知识内化到模型参数中,类似于人类将工作记忆转化为长期记忆的过程。目前大模型处理长文本面临两大主要挑战:传统注意力机制的平方复杂度导致处理长文本时计算和内存开销巨大 模型难以理解散落在长文本各处的长程依赖关系现有的解决
AI21 Labs发布Jamba 1.6,打破长文本处理极限、支持多种语言
AI21Labs 近日发布了其最新的 Jamba1.6系列大型语言模型,这款模型被称为当前市场上最强大、最高效的长文本处理模型。与传统的 Transformer 模型相比,Jamba 模型在处理长上下文时展现出了更高的速度和质量,其推理速度比同类模型快了2.5倍,标志着一种新的技术突破。Jamba1.6系列包括 Jamba Mini(12亿参数)和 Jamba Large(94亿参数),并且专门针对商业应用进行了优化,具备函数调用、结构化输出(如 JSON)和基于现实的生成能力。这些模型的应用范围广泛,从企业级的智能助手到学术研究,均能发挥
杨植麟回应月之暗面仲裁案,首次澄清张予彤股份问题
近日,金沙江创投主管合伙人朱啸虎多次在社交平台上发文回应月之暗面仲裁案,并“炮轰”前金沙江创投主管合伙人张予彤。针对此事,月之暗面创始人兼CEO杨植麟于昨晚通过社交媒体发表声明,回应了关于他离开前公司重新创业以及张予彤在月之暗面股份的问题。杨植麟明确表示,在离开循环科技重新创业时,所有必要的手续都已得到每一位董事的签字同意。他强调,自己与前公司以及部分股东之间的决策是独立的,并未受到任何干预。针对张予彤在月之暗面的任职和所持股份问题,
智谱AI:GLM-4-Long API上线 输入、输出价格0.001元 /千tokens
智谱AI宣布,支持超长上下文长度的LLM GLM-4-Long已经在开放平台bigmodel.cn上线。该模型专为处理超长文本而设计,能够一次性阅读相当于两本《红楼梦》或125篇论文的文本量,广泛应用于翻译长篇文档、全局分析财报、提取关键信息以及构建具有超长记忆的聊天机器人等场景。
Kimi开放平台:Kimi 企业级 API 发布 更高效、安全和稳定
北京月之暗面科技有限公司(Moonshot AI)宣布 Kimi 企业级 API 正式发布。这些API提供企业级的模型推理能力,确保程序拥有领先的稳定体验,同时提供更高等级的数据安全保障和并发速率。此外,Kimi还提供专属的技术支持服务,并为用户带来下一代模型和新能力的优先体验机会。
