大模型要佔你多少內存?這個神器一鍵測量,誤差低至0.5MB|免費

量子位

發布於AI新聞資訊 · 1 分鐘閱讀 · Aug 4, 2025

介紹了HuggingFace Space上的新工具Model Memory Calculator。它可以通過輸入模型名稱和數據類型,來預測該模型的內存佔用,誤差小至0.5MB。操作簡單方便,讓用戶不再擔心GPU內存是否夠用。實際推理時內存佔用約比預測值多20%。該項目由開源愛好者Zach Mueller創建,可以一鍵測量各種大模型的內存佔用。

百度集團漲超10% 此前宣佈文心大模型4.0Turbo向企業客戶開放

7月10日，百度在其港股市場股價迎來開門紅，漲幅超過11%，達到95港元的高點；美股市場股價也同樣強勁，收盤時上漲8.47%，至95.4美元。百度股價的顯著上漲，得益於兩方面重要消息：其一，百度智能雲宣佈最新文心大模型4.0Turbo全面向企業開放，增加了市場對該公司技術實力的信心；其二，北京市經濟和信息化局發佈了支持自動駕駛汽車在公共交通、網約車、汽車租賃等多個領域服務的《北京市自動駕駛汽車條例（徵求意見稿）》，爲百度等企業提供了新的增長機遇。這兩項積極進展共同推動了百度股價的上漲。

高盛:大型科技公司將花費1萬億美元用於AI數據中心等目前收效甚微

金融巨頭高盛的一份研究通訊警告稱，大型科技公司已加大資本支出以推動生成式人工智能的發展，但尚未展示可持續的商業模式。該投行估計，在未來幾年將有約1萬億美元用於數據中心、半導體、電網升級和其他人工智能基礎設施。

分析師因人工智能轉型重新調整微軟股價目標

微軟（MSFT）近期因其深度整合人工智能技術而再次成爲投資者關注的焦點。該公司旗下的Azure雲計算平臺，在首席執行官薩特亞·納德拉(Satya Nadella)的戰略推動下，日益成爲推動其人工智能發展的關鍵引擎。最新的財報顯示，微軟第三季度營收達到618.6億美元，超過了分析師的預期，其中雲業務表現尤爲搶眼，營收達到350億美元，同比增長23%。

Llama 3超越GPT-4！英偉達推微調新框架RankRAG

佐治亞理工學院與英偉達的兩位華人學者最新共同研發了一款名爲RankRAG的創新微調框架，該框架針對複雜RAG流程實現了顯著簡化，使用單一的LLM對檢索、排名及生成任務進行統一操作，效果遠超傳統流程。RAG技術在輔助大規模文本生成時普遍使用，然而，原有流程敏銳地識別到了如k值選擇的侷限性：當k值過大使長上下文處理變得吃力，或k值偏小削弱了檢索效率。RankRAG創新性地通過微調與擴展LLM能力，使LLM能夠自我適應進行檢索和排名。相較於常規流程，該框架在數據效率和性能方面都有顯著提升。實驗證明，通過微調更高效的Llama模型，在多個通用和生物醫學領域基準測試中，RankRAG的表現具有一定競爭力，甚至超越了前代頂級模型約10%的水平。這項技術引入了高度交互性和可編輯性的元素，允許用戶在生成內容後進行實時編輯與迭代，顯著提升工作效率，並且被推廣至可與任何平臺分享的成果。RankRAG的微調方案分爲指令監督與多階段強化訓練兩個階段，旨在提升LLM在不同指令、檢索與上下文排名能力上的綜合性。通過該框架，AI生成的內容在通用領域性能上超過了目前開源頂級系統。尤其在長尾QA及多跳QA任務中有超10%的性能提升。在適應性應用如生物醫學RAG基準Mirage上，即使是未經專門訓練的模型，RankRAG也展現出對專業領域任務的超越。隨着RankRAG的不斷優化與普及，我們期待AI與人類協作流程更加順利，技術及應用得到更大幅度的發展與創新。欲深入瞭解RankRAG技術，請訪問論文：https://arxiv.org/abs/2407.02485

獨立開發者狂喜！Claude推Artifacts 分享功能可在別人基礎上修改混合

Anthropic公司近期發佈更新，推出AI助手Claude3.5Sonnet，能力大幅提升，不僅對話聊天，還能通過指令生成文檔、代碼、思維腦圖、矢量圖形，甚至簡制遊戲。7月9日，Claude再度升級新增Artifacts分享和重新混合功能，允許用戶發佈自己製作的遊戲、應用，同時在他人創意上迭代創新，象徵技術平權時代到來。Claude在多項基準測試表現優異，特別在代碼生成方面。升級的Artifacts功能，使Claude從對話助手轉型爲全能創作夥伴，用戶能在實時界面編輯生成內容。Artifacts可極大提高工作效率，已被成功用於實際項目中，如Reddit用戶開發的工具用於運行、分享和重混Claude生成的React代碼。隨着Artifacts及其相關平臺工具的完善，此升級迎來了AI與人類創作協作的新紀元，之前述全新開創的AI與人類結合，有望推動更多創意作品和合作模式。

PaintsUndo：輸入圖片即可自動轉繪畫過程視頻

PaintsUndo是一個革命性的AI技術，允許用戶將靜態圖片轉化爲完整的繪畫過程視頻。只需提供圖片，無論是風景、人像還是抽象藝術，PaintsUndo就能生成詳細的繪畫視頻，展現從草圖到完成品的每一步，支持多種風格和細節程度。背後的技術核心是基於AI的模型，展示詳細繪圖過程如素描、上色和陰影處理，甚至進行創意調整，模擬人類繪畫風格。項目包含單幀和多幀模型，支持高度定製化的用戶輸入。儘管功能強大，但使用時需注意對電腦配置的要求較高（至少10GB顯存），且處理時間較長（5-10分鐘），最終生成視頻長度約25秒左右。建議在使用前提前檢查電腦配置並耐心等待。