SALMONN框架：拓展大型語言模型通用聽覺能力
站長之家
發布於AI新聞資訊 · 1 分鐘閱讀 · Jul 21, 2025
SALMONN框架通過整合不同聽覺編碼器和激活調整階段，取得了競爭性的通用聽覺性能。其多模態架構爲大型語言模型提供了直接理解和處理通用音頻輸入的能力，展示了在多種任務中的競爭性性能。
%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20%23061b40;%20}%20.st1%20{%20fill:%20%23306af1;%20}%20.st2%20{%20fill:%20%235ce5cf;%20}%20%3c/style%3e%3c/defs%3e%3cg%3e%3cpath%20class='st0'%20d='M55,10.5h9v3h-9v9h12V7.5h-12v3ZM64,19.5h-6v-3h6v3Z'/%3e%3cpolygon%20class='st0'%20points='69%2016.5%2078%2016.5%2078%2019.5%2069%2019.5%2069%2022.5%2081%2022.5%2081%2013.5%2072%2013.5%2072%2010.5%2081%2010.5%2081%207.5%2069%207.5%2069%2016.5'/%3e%3cpolygon%20class='st0'%20points='95%2010.5%2095%207.5%2083%207.5%2083%2022.5%2095%2022.5%2095%2019.5%2086%2019.5%2086%2016.5%2095%2016.5%2095%2013.5%2086%2013.5%2086%2010.5%2095%2010.5'/%3e%3cpath%20class='st0'%20d='M40,1.5v21h11.6l1.4-1.4v-7.6h0c0,0-1.4-1.5-1.4-1.5l1.4-1.4V2.9l-1.4-1.4h-11.6ZM50,19.5h-7v-6h7v6ZM50,10.5h-7v-6h7v6Z'/%3e%3c/g%3e%3cpath%20class='st1'%20d='M23.1,24L14.7,4.8l-4.9,11.2h3.8l-1.8,4H3.3L12.1,0H2C.9,0,0,.9,0,2v20c0,1.1.9,2,2,2h21.1Z'/%3e%3cpath%20class='st2'%20d='M34,0h-16.8l10.6,24h6.2c1.1,0,2-.9,2-2V2C36,.9,35.1,0,34,0ZM32.5,20h-4V4h4v16Z'/%3e%3c/svg%3e)
相關AI新聞推薦
作家集體起訴 Anthropic：指控盜用百萬書籍訓練 AI，版權之爭再升級！
Jul 21, 2025
46.2k
逐際動力完成新融資，京東戰略入局，全尺寸人形機器人下半年開售
Jul 21, 2025
46.2k
斯坦福推出多工具協作 AI Agent，助力複雜推理任務
斯坦福大學開源AI工具OctoTools，整合11種專業工具應對複雜推理任務。該工具採用"工具卡片"標準化設計，包含圖像識別、數學計算等功能模塊，通過規劃器分析任務、執行器操作工具、驗證器確保結果的三段式工作流程。測試顯示其在16項基準測試中表現優異，能高效處理數學、科學等跨領域問題，顯著提升AI系統的可靠性和多步推理能力。開源地址：github.com/octotools
Jul 21, 2025
46.2k
馬斯克宣佈 xAI將推出兒童 AI 應用 “Baby Grok”
埃隆·馬斯克旗下xAI公司宣佈推出專爲兒童設計的AI應用"Baby Grok"，主打安全友好的數字環境。這是繼7月發佈Grok4聊天機器人後，xAI在兒童AI領域的新嘗試。此前Grok4曾因反猶言論引發爭議。新應用旨在解決兒童網絡安全問題，爲年輕用戶提供健康積極的在線體驗，反映當前社會對兒童數字安全的重視。
Jul 21, 2025
46.2k
開源版多鄰國！WordPecker：AI語音對話+個性化詞彙，3倍速學語言！
WordPecker是一款創新的開源語言學習工具，通過AI技術實現個性化學習體驗。它支持從任意內容提取詞彙創建個性化詞庫，提供100多種語言學習選項，並採用"知/不知"交互模式強化記憶。最大亮點是集成OpenAI語音Agent技術，支持實時語音對話練習和多國口音發音訓練。工具提供多樣化學習模式，包括互動測驗、閱讀練習和視覺輔助功能。作爲開源項目，它持續優化架構並計劃引入本地TTS模型。這款融合LLM和TTS技術的工具，代表了語言學習智能化的未來方向。
Jul 21, 2025
46.2k
馬斯克新創意！兒童AI應用 “Baby Grok” 即將上線，具體功能仍待揭曉
Jul 21, 2025
46.2k