商汤宣布大语言模型应用 “商量 SenseChat” 正式开放服务

Meta周三向Axios发表声明,宣布由于欧盟法规不明确,该公司将不会向欧盟国家的客户发布其新的多模态AI模型或未来版本。这一决定引发了对欧盟AI监管环境的广泛讨论,同时也反映了美国科技巨头在面对全球不同监管要求时的策略调整。
大型语言模型(LLMs)因出色的自然语言处理能力而闻名,但在实践中,它们的推理阶段面临高计算成本和内存占用的挑战。为了提高LLMs效率,研究人员引入了一项名为 Q-Sparse 的技术。Q-Sparse 方法通过在激活中应用 top-K 稀疏化和直通估计器,实现了完全稀疏激活的状态压缩,显著提升推理效率。研究发现,Q-Sparse 能在保持结果与 baseline LLMs相当的条件下,提高推理效率。这种方法适用于全精度和 1 位(如 BitNet b1.58)LLMs。 稀疏激活通过减少矩阵乘法和输入/输出传输量来提高效率。Q-Sparse 在每个线性投影中实现全激活稀疏化,通过 top-K 稀疏化函数实现与反向传播中梯度计算的直通估计器相结合,进一步提高了激活稀疏性。采用平方 ReLU 函数提高激活稀疏性。 实验结果揭示,随着模型大小和稀疏比率的增加,稀疏激活模型的性能提高,这也适用于从头开始训练、已有的 LLMs 继续训练和微调。Q-Sparse 还被应用于包括 BitNet b1.58 和混合专家(MoE)在内的 LLMs,并探索兼容批量模式的优化以增加训练和推理的灵活性。
多个科技巨头,包括Anthropic、英伟达、苹果和Salesforce等,被指控在未经同意的情况下,使用了YouTube平台上的173,536个视频的字幕数据训练人工智能模型。这些视频来自超过48,000个频道,内容涵盖了教育、在线学习以及娱乐等领域。包括David Pakman Show、《Stephen Colbert晚间秀》、《Jimmy Kimmel Live》等知名频道和品牌都被用于数据集,这些数据集被称为"YouTube Subtitles"。部分创作者表示并不知情自己的内容被用于这类项目,引发了版权、伦理和补偿问题的讨论。尽管YouTube禁止未授权抓取平台内容,一些AI公司依然通过不明方式获得了这些数据,用于模型训练。该行为导致了一些法律和道德挑战,部分创作者对此表示愤怒,并质疑AI公司应为此支付费用。
近日,一项调查揭示了包括苹果在内的多家科技巨头曾利用YouTube视频字幕来训练AI模型。这些数据涵盖了超过170,000个视频,其中包括知名创作者如MKBHD和Mr. Beast的内容。苹果公司利用这些数据训练了其开源模型OpenELM,该模型于今年4月发布。
Anthropic携手Menlo Ventures共同创立了Anthology Fund,总规模达到1亿美元。该基金专为下一代AI初创企业设立,计划为每家合规初创企业拨款至少10万美元,并提供Anthropic与Menlo Ventures的支持与资源。总裁Daniela Amodei表示,通过这一合作,旨在加速开发利用AI提升人类能力与生产力的创新应用,尤其是在医疗、法律服务、教育、能源等领域。基金的附加价值包括多种支持、专家指导、开发者关系支持,与人工智能公司网络的连接,以及定期会议等。项目体现了对人工智能应用创新的坚定支持,与OpenAI的类似基金相呼应。Anthropic与Menlo Ventures的合作不仅可以为初创企业提供资金资源,还有助于AI领域的生态系统拓展与高标准行业实践的推广。
OpenAI CEO山姆·奥特曼坐落于旧金山的豪华豪宅,价值2700万美元,却成了大麻烦的源头。该豪宅,占据伦巴第街,总面积约9500平方英尺,拥有令人惊叹的四边无限泳池。遗憾的是,问题接踵而来,去年泳池漏水,引发家中多层受淹,石膏天花板坍塌,还有大面积霉菌。修复泳池费用预计高达400万美金。更糟糕的是,豪宅的污水管道系统出现问题,未连接的浴室下水道将未经处理污水排放到地面,多条灌溉管线漏水,甚至有天窗出现渗水现象。这些问题不仅损害了豪宅的外观,还可能对居住环境造成长久影响。奥特曼及其法律团队已经指控Troon Pacific房地产开发商对其房产状态做虚假陈述,并从业人员未合格等行为,涉及索赔和改善建议。值得关注的是,此次纷争并不是Troon Pacific首次遇到法律挑战,今年其还因资助一项从未完成的旧金山房屋翻新项目却从中获利数百万美元面临巨额赔偿。奥特曼在这期间需要解决一系列问题,可能寻求外部援助,例如科技人物熟悉的AI,求助于与之更为和谐的技术解决方案或是寻找新的住处以摆脱困扰。