字節大模型Depth Anything V2 被蘋果官方收入Core ML模型庫

AIbase

發布於AI新聞資訊 · 1 分鐘閱讀 · Jul 19, 2025

字節跳動的大模型團隊又立了一功，他們的Depth Anything V2模型被蘋果公司收入了Core ML模型庫。這個成果不僅在技術上取得了突破，更讓人矚目的是，這個項目的領頭人，竟然是一位實習生。

Depth Anything V2是一個單目深度估計模型，它能夠從單張圖片中估算出場景的深度信息。這個模型從2024年初的V1版本到現在的V2，參數量從25M擴展到了1.3B，應用範圍覆蓋了視頻特效、自動駕駛、3D建模、增強現實等多個領域。

QQ截圖20240711163254.jpg

這個模型在GitHub上已經獲得了8.7k的Star，V2版本發佈不久就有2.3k Star，而V1版本更是收穫了6.4k Star。這樣的成績，對於任何一個技術團隊來說都是值得驕傲的，更何況這背後的主力是一位實習生。

蘋果公司將Depth Anything V2收入Core ML模型庫，這是對模型性能和應用前景的高度認可。Core ML作爲蘋果的機器學習框架，能夠讓機器學習模型在iOS、MacOS等設備上高效運行，即使在無互聯網連接的情況下也能執行復雜的AI任務。

Depth Anything V2的Core ML版本採用了至少25M的模型，經過HuggingFace官方工程優化，在iPhone12Pro Max上的推理速度達到了31.1毫秒。這與FastViT、ResNet50、YOLOv3等其他入選模型一起，涵蓋了從自然語言處理到圖像識別的多個領域。

在大模型的浪潮中，Scaling Laws的價值被越來越多的人認同。Depth Anything團隊選擇了構建一個簡單但功能強大的基礎模型，在單一任務上實現更好的效果。他們認爲，利用Scaling Laws解決一些基礎問題更具實際價值。深度估計作爲計算機視覺領域中的重要任務之一，從圖像中推斷出場景內物體的距離信息，對於自動駕駛、3D建模、增強現實等應用至關重要。Depth Anything V2不僅在這些領域有廣泛的應用前景，還能作爲中間件整合進視頻平臺或剪輯軟件中，支持特效製作、視頻編輯等功能。Depth Anything項目的一作是團隊的實習生，這位新星在Mentor的指導下，從項目設想到論文撰寫，不到一年時間就完成了大部分工作。公司和團隊提供了自由的研究氛圍和充分的支持，鼓勵實習生深入研究更難、更本質的問題。

這位實習生的成長和Depth Anything V2的成功，不僅展現了個人的努力和才華，也體現了字節跳動在視覺生成及大模型相關領域的深入探索和人才培養。

項目地址:https://top.aibase.com/tool/depth-anything-v2

新的Transformer加速技術FlashAttention-3發佈成本直線下降

全新Transformer加速技術FlashAttention-3發佈，顯著提升大型語言模型推理速度和降低運行成本。對比前版本，此更新大幅提高GPU利用率，訓練和運行速度提升1.5至2倍。採用低精度數字（FP8），保持高準確性同時大幅降低成本。處理長文本能力顯著增強，大幅優化了內存消耗與序列長度關係，特別是與大規模數據集和長序列的兼容性。技術亮點包括先進算法支持、Hopper GPU優化以及集成的多種先進技術，使模型性能和應用範圍大幅提升。安裝簡單，兼容CUDA11.6與PyTorch1.12以上版本，Linux下使用pip命令安裝，Windows用戶亦有指導文檔輔助。整體而言，FlashAttention-3提供高效性能、內存優化、先進特性和易用性，能夠在各種項目中便捷集成。

Heygen推對口型工具上傳照片+音頻即可說話、唱歌

AI照片“復活術”Heygen推出照片對口型工具，用戶上傳照片與音頻後，照片中人物可對應音頻內容進行說話、唱歌、朗讀，支持長達20秒音頻生成視頻，具備識別並同步主要聲音的特點。然而，目前該服務對中國區用戶有限制，導致用戶體驗受限。Heygen在當地受到關注，今年6月在一輪融資中以5億美元估值籌集了6000萬美元，獲得Benchmark等知名機構投資，並接入新董事會成員。至今已籌集7400萬美元，成爲了利用生成式AI成本更低、操作更簡捷進行影片製作領域的領先企業。體驗該工具的地址已公佈。

大語言模型推理能力被高估了在不熟悉場景中有很大的弱點

近期,麻省理工學院研究團隊對大型語言模型(LLMs)在不同任務下的表現進行了深入探討。研究發現,LLMs在熟悉任務上表現良好,但卻在面對非典型或未知情境時顯現出推理能力的嚴重侷限。通過比較“默認任務”與“反事實場景”,以及調整任務設計以測試模型反應,結果表明,儘管模型在十進制算術運算相當出色,但在非十進制環境以及音樂、空間推理和國際象棋等其他任務中表現出完全不同的表現。模型的不穩定表現和對訓練數據的直接記憶依賴,揭示了其在面對變動環境中較爲有限的邏輯應用能力。研究主要作者指出,LLMs更加擅長於在熟悉場景下利用已知信息,而非靈活運用邏輯推理處理環境變化。這一發現對未來模型設計具有重要意義,尤其是在適應性和多任務處理能力提升方面,並指出了研究領域的新方向,力圖構建更具普適性和魯棒性的AI模型原型,應對真實世界複雜多變的挑戰。當前研究的侷限性在於對候選模型評估的維度和環境的限制,未來需進一步擴大評估範圍,以全面揭示模型在真實世界應用中的潛在限制。

谷歌正通過Gemini AI訓練機器人，提高導航和任務完成能力

谷歌通過訓練Gemini AI，正致力於提升其機器人的導航與任務完成能力。DeepMind團隊在一篇研究論文中詳細描述瞭如何使用Gemini1.5Pro的長上下文窗口，使用戶能更自然地使用語言指令與RT-2機器人交互。Gemini1.5Pro讓機器人通過視頻遊覽來理解環境，執行如引導用戶到插座等命令。實驗顯示，機器人在這9000多平方英尺區域內成功執行超過50指令，成功率高達90%。更有意思的是，Gemini還幫助機器人規劃指令，不僅限於導航，例如確定冰箱內是否有用戶最喜歡的飲料。儘管處理指令需約10-30秒，此研究朝向提升機器人與人類共存邁出了重要一步。