上海人工智能实验室近日发布低成本大模型训练工具箱XTuner,支持多种硬件适配,开发者最低只需使用8GB消费级显存即可训练出适用于具体需求场景的“专属大模型”,大幅降低训练成本门槛。XTuner支持与书生·浦语、Llama等多款开源大模型适配,可执行增量预训练、指令微调等任务类型。同时它兼顾易用性和可配置性,内置了增量预训练、单轮&多轮对话指令微调、工具类指令微调的标准化流程,让开发者只需聚焦于数据本身。XTuner再次巩固上海AI实验室面向大模型研发与应用的全链条开源体系的实用工具属性,与各界共同推动技术进步。
相关推荐
重磅发布!中文互联网基础语料3.0助力AI发展,数据量高达120GB
9月18日,在昆明举行的2025年国家网络安全宣传周人工智能安全治理分论坛上,中文互联网基础语料3.0正式发布。这一新版本的数据量达到了惊人的120GB,旨在为大模型训练和人工智能的进一步发展提供可靠的数据支持。中文互联网基础语料3.0的发布,是在中央网信办的指导下,由中国网络空间安全协会与国家互联网应急中心等单位协同合作的成果。此次语料的开发与构建,得益于企业、高校和科研单位之间的紧密合作,充分利用了网安协会人工智能安全治理专委会建立的语料共建共享机制
谷歌新研究:合成数据助力大模型,数学推理能力提升八倍
近期,谷歌、卡内基梅隆大学与 MultiOn 的研究团队联合发布了一项关于合成数据在大模型训练中应用的新研究。根据 AI 发展科研机构 Epoch AI 的报告,目前人类公开的高质量文本训练数据大约有300万亿 tokens,但随着大型模型如 ChatGPT 的快速发展,对训练数据的需求正以指数级增长,预计在2026年前这些数据将被消耗殆尽,因此合成数据逐渐成为重要的替代方案。研究人员探索了合成数据的两种主要类型:正面数据和负面数据。正面数据是指来自高性能大模型(如 GPT-4和 Gemini1.5Pro)生成的正确
火山引擎发布大模型训练视频预处理方案 PixelDance已采用
火山引擎在近期的视频云技术大会上发布了一项重要创新:大模型训练视频预处理方案。这一技术已成功应用于豆包视频生成模型,标志着AI视频生成技术的重大进展。火山引擎总裁谭待强调,AIGC和多模态技术正在深刻改变用户体验。基于抖音的实践经验,火山引擎正积极探索AI大模型与视频技术的融合,为企业提供全方位解决方案。抖音集团视频架构负责人王悦指出,大模型训练面临诸多挑战,包括海量数据处理成本高、样本质量不一、处理链路复杂,以及多种异构算力资源的调度问题。
腾讯云推出星脉网络2.0 大模型训练再提速20%
腾讯云最近推出了升级版的星脉网络2.0,旨在提高大模型训练的效率。在之前的版本中,大型模型的计算结果同步通信时间占据了50% 以上的比例,导致效率低下。新版本的星脉网络2.0在多个方面进行了升级:
中兴通讯发布支持大模型训练的最新 AI 服务器
["中兴通讯推出最新 AI 服务器,支持大模型训练","针对中小型模型的训练和推理需求,中兴通讯推出 G5 系列服务器","中兴通讯计划在今年发布一款支持大模型训练的最新 AI 服务器"]
