上海人工智能实验室近日发布低成本大模型训练工具箱XTuner,支持多种硬件适配,开发者最低只需使用8GB消费级显存即可训练出适用于具体需求场景的“专属大模型”,大幅降低训练成本门槛。XTuner支持与书生·浦语、Llama等多款开源大模型适配,可执行增量预训练、指令微调等任务类型。同时它兼顾易用性和可配置性,内置了增量预训练、单轮&多轮对话指令微调、工具类指令微调的标准化流程,让开发者只需聚焦于数据本身。XTuner再次巩固上海AI实验室面向大模型研发与应用的全链条开源体系的实用工具属性,与各界共同推动技术进步。
相关推荐
OpenAI 收购 Neptune,实验监控神器入栈,GPT迭代速度或将翻倍
OpenAI收购实验管理公司Neptune,将整合其监控调试工具至训练技术栈,提升模型迭代的实时可见性。双方将共同优化实验追踪与自动化警报功能。
英伟达公开表示为谷歌AI成就感到高兴,但我们目前仍是行业领先
英伟达回应谷歌AI进展,强调自身在AI基础设施领域的核心地位,称其是唯一能运行所有主流AI模型、覆盖云端到边缘计算的全平台,领先行业约一代。黄仁勋指出,英伟达通用GPU在性能、灵活性和可替代性上优于专用AI芯片。
重磅发布!中文互联网基础语料3.0助力AI发展,数据量高达120GB
9月18日,在昆明举行的2025年国家网络安全宣传周人工智能安全治理分论坛上,中文互联网基础语料3.0正式发布。这一新版本的数据量达到了惊人的120GB,旨在为大模型训练和人工智能的进一步发展提供可靠的数据支持。中文互联网基础语料3.0的发布,是在中央网信办的指导下,由中国网络空间安全协会与国家互联网应急中心等单位协同合作的成果。此次语料的开发与构建,得益于企业、高校和科研单位之间的紧密合作,充分利用了网安协会人工智能安全治理专委会建立的语料共建共享机制
谷歌新研究:合成数据助力大模型,数学推理能力提升八倍
近期,谷歌、卡内基梅隆大学与 MultiOn 的研究团队联合发布了一项关于合成数据在大模型训练中应用的新研究。根据 AI 发展科研机构 Epoch AI 的报告,目前人类公开的高质量文本训练数据大约有300万亿 tokens,但随着大型模型如 ChatGPT 的快速发展,对训练数据的需求正以指数级增长,预计在2026年前这些数据将被消耗殆尽,因此合成数据逐渐成为重要的替代方案。研究人员探索了合成数据的两种主要类型:正面数据和负面数据。正面数据是指来自高性能大模型(如 GPT-4和 Gemini1.5Pro)生成的正确
火山引擎发布大模型训练视频预处理方案 PixelDance已采用
火山引擎在近期的视频云技术大会上发布了一项重要创新:大模型训练视频预处理方案。这一技术已成功应用于豆包视频生成模型,标志着AI视频生成技术的重大进展。火山引擎总裁谭待强调,AIGC和多模态技术正在深刻改变用户体验。基于抖音的实践经验,火山引擎正积极探索AI大模型与视频技术的融合,为企业提供全方位解决方案。抖音集团视频架构负责人王悦指出,大模型训练面临诸多挑战,包括海量数据处理成本高、样本质量不一、处理链路复杂,以及多种异构算力资源的调度问题。
