字节跳动联合北京大学的研究团队在arXiv发表论文，介绍了他们用于训练大语言模型的生产系统MegaScale。MegaScale搭建了超过10000块GPU的单一集群，实现了55.2%的模型FLOP利用率。该系统还包含一套诊断工具用于监控系统组件和事件，找出根本原因，并实现容错和缓解滞后问题。
%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20%23061b40;%20}%20.st1%20{%20fill:%20%23306af1;%20}%20.st2%20{%20fill:%20%235ce5cf;%20}%20%3c/style%3e%3c/defs%3e%3cg%3e%3cpath%20class='st0'%20d='M55,10.5h9v3h-9v9h12V7.5h-12v3ZM64,19.5h-6v-3h6v3Z'/%3e%3cpolygon%20class='st0'%20points='69%2016.5%2078%2016.5%2078%2019.5%2069%2019.5%2069%2022.5%2081%2022.5%2081%2013.5%2072%2013.5%2072%2010.5%2081%2010.5%2081%207.5%2069%207.5%2069%2016.5'/%3e%3cpolygon%20class='st0'%20points='95%2010.5%2095%207.5%2083%207.5%2083%2022.5%2095%2022.5%2095%2019.5%2086%2019.5%2086%2016.5%2095%2016.5%2095%2013.5%2086%2013.5%2086%2010.5%2095%2010.5'/%3e%3cpath%20class='st0'%20d='M40,1.5v21h11.6l1.4-1.4v-7.6h0c0,0-1.4-1.5-1.4-1.5l1.4-1.4V2.9l-1.4-1.4h-11.6ZM50,19.5h-7v-6h7v6ZM50,10.5h-7v-6h7v6Z'/%3e%3c/g%3e%3cpath%20class='st1'%20d='M23.1,24L14.7,4.8l-4.9,11.2h3.8l-1.8,4H3.3L12.1,0H2C.9,0,0,.9,0,2v20c0,1.1.9,2,2,2h21.1Z'/%3e%3cpath%20class='st2'%20d='M34,0h-16.8l10.6,24h6.2c1.1,0,2-.9,2-2V2C36,.9,35.1,0,34,0ZM32.5,20h-4V4h4v16Z'/%3e%3c/svg%3e)
相关推荐
字节跳动大模型研究员因泄密被开除！曾频繁在知乎曝光机器人研发细节，公司重拳整治信息安全
字节跳动大模型团队研究员任某某因多次泄露公司保密信息被辞退。他在知乎拥有8万粉丝，曾频繁发布内部研发细节，引发关注并导致公司纪律审查。高调分享最终酿成职业危机。
2025年11月13号 11:21
148.8k
字节推出 InfinityStar 框架，视频生成速度提升至 58 秒！
字节跳动发布InfinityStar框架，视频生成效率大幅提升，5秒720p视频仅需58秒。该框架统一支持图像生成、文本生成视频、视频续写等多种视觉任务，基于对视频数据本质的深入理解，采用创新的时空分离设计，突破传统3D数据块处理方式。
2025年11月11号 17:46
134.0k
字节火山引擎启动高薪招聘，实质性进军“人形具身机器人”赛道
字节跳动通过火山引擎高薪招聘具身智能算法专家，月薪9.5万至12万元，显示其正聚焦人形机器人研发，实质性布局前沿科技赛道。
2025年11月5号 13:47
148.9k
字节跳动 AI 编程工具 Trae 下架 Claude 模型，Pro 会员获补偿
字节跳动AI编程工具Trae宣布，因服务中断将停止支持Claude模型。为补偿Pro会员，平台将在2026年1月31日前，每月额外提供50%快速请求额度，使会员每月可享300次快速请求。此举旨在缓解服务调整带来的影响。
2025年11月4号 15:39
259.6k
中国科大与字节发布 MoGA 长视频生成模型:分钟级多镜头短片一键生成
中科大与字节跳动联合推出端到端长视频生成模型，能直接生成分钟级、480p分辨率、24fps的高质量视频，支持多镜头切换。核心创新是底层算法MoGA，这是一种全新注意力机制，专攻长视频生成难题，标志着国产视频生成技术实现关键突破。
2025年10月24号 14:30
269.7k