相关推荐
首token延迟砍掉3. 25 倍:小红书联手北大、上交提出HYPIC,给混合注意力大模型装上"位置无关缓存"
大模型服务主战场正转向检索增强问答、多文档摘要和长程Agent。请求prompt由几十到上百个语义独立的片段(检索文档、技能说明、记忆、历史轮次)拼接,形成数万至数十万token的超长上下文,预填充阶段占据主导算力开销,成为服务商最突出的成本来源,且引发更棘手的难题。
豆包付费时代开启:三档订阅服务落地,性价比对标全球巨头
豆包正式推出三档付费订阅(68元/月、200元/月、500元/月),全线产品接入豆包2.1大模型,输出质量与效率显著提升。官方称免费用户权益不变,付费服务主要满足更高生产力需求。
硅基流动与阿里云合作 核心API服务将全面接入阿里云百炼平台
近日,AI Infra企业硅基流动与阿里云正式宣布达成战略合作,硅基流动正式加入阿里云“繁花计划”,并入驻阿里云云市场。此次合作标志着双方在AI领域开启深度协作,共同推动大模型服务的发展。 根据合作内容,硅基流动大模型推理平台SiliconCloud的核心API服务将全面接入阿里云百炼平台,以阿里云灵骏智能计算集群为算力支撑,为云上客户提供便捷、高效的大模型服务。
月之暗面推出 Kimi 浏览器插件 支持点问笔、总结器等功能
Moonshot AI的Kimi浏览器插件现已上线,旨在升级用户在网页及应用中的体验。该插件拥有点问笔及总结器两大功能:通过划选文字获取即时解释与答疑,利用位于网页右下角的总结器快速摘要全文。 支持全局浮窗与侧边栏模式,便于在写作过程中持续对话与搜索信息。通过快捷键启动Kimi,实现高效操作。发展历程中包括多项体验优化,例如直接在App中打开微信中的PDF文件、搜索引用溯源、部分复制功能扩大范围,以及新增提问推荐功能可根据用户问答提供相关问题。网页版功能进一步增加,支持Ctrl+C/V进行贴图操作与利用历史记录搜索,涵盖基础运算、函数运算等多个计算器功能板块。插件下载地址为:https://kimi.moonshot.cn/extension/download
月之暗面 Moonshot AI 开放平台正式启动公开测试
["月之暗面 Moonshot AI 开放平台正式启动公开测试","开发者可创建自己的 API Key,集成模型能力至产品中","API 设计与 OpenAI 兼容,无需修改代码","与多个开源仓库兼容,提供丰富的工具和资源","平台提供文件内容提取能力接口,针对文档和知识库场景"]
