AI日報：Claude新增PDF文件處理功能；Runway推出高級攝像機控制；支持視頻轉視頻的開源神器ComfyUI-MochiEdit

歡迎來到【AI日報】欄目!這裏是你每天探索人工智能世界的指南，每天我們爲你呈現AI領域的熱點內容，聚焦開發者，助你洞悉技術趨勢、瞭解創新AI產品應用。

新鮮AI產品點擊瞭解:https://top.aibase.com/

1、Claude3.5Sonnet模型增加PDF文件處理功能

Anthropic公司最新推出的Claude3.5Sonnet模型增加了PDF文件處理功能，用戶可以通過該模型分析PDF文檔中的文本和視覺元素，包括圖像、圖表和表格等，適用於多種場景。

【AiBase提要:】

📄 Claude3.5Sonnet模型新增PDF文件處理功能，支持文本和圖像分析。

🖼️ 處理過程包括提取文本、轉換頁面爲圖像和綜合分析三個步驟。

💰 處理費用根據文檔長度和內容密度不同，用戶需遵循文件大小和頁數限制。

2、OpenAI完整版o1模型曝光:能力超強 可處理20萬個token

我對最新曝光的OpenAI o1模型進行了點評。該模型被稱爲OpenAI最強大的模型，具備處理大量文本和分析圖像的能力，特別適合高級推理和創造性任務。預計完整版將在今年晚些時候推出，引起了人工智能領域的廣泛關注。用戶們對o1模型的體驗充滿期待。

【AiBase提要:】

🌟 o1模型短暫開放，能處理約20萬字和分析圖像。

🚀 OpenAI稱其爲“最強大的模型”，適合高級推理和創造性任務。

📅 完整版尚未發佈，預計將於今年晚些時候推出。

3、告別隨機生成!Runway推出高級攝像機控制 像導演一樣掌控鏡頭

Runway最新推出的高級攝像機控制功能讓用戶像導演一樣掌控虛擬場景中的鏡頭移動，爲AI視頻創作帶來前所未有的靈活性和掌控力。用戶可以實現水平移動、環繞拍攝、位置探索、循環拍攝等多種效果，極大拓展了創作潛力。這一功能改變了用戶對數碼相機工作的看法，實現無縫過渡和增強場景構圖。

【AiBase提要:】

🎥 用戶可以像導演一樣精準控制虛擬場景中的鏡頭移動，實現多種效果，包括水平移動、環繞拍攝等。

🔍 結合速度變化的循環拍攝功能，用戶可以生成吸睛的視覺循環或過渡，極大拓展了創作潛力。

📽️ 高級攝像機控制功能讓用戶精確控制場景和主題的呈現方式，將觀衆帶入一個栩栩如生、看似3D的世界。

詳情鏈接:https://top.aibase.com/tool/runway

4、付費用戶僅60+，月入卻達3萬!開源AI聊天工具LobeChat盈利模式大揭祕

LobeChat團隊在開源AI聊天工具LobeChat的雲服務公測中取得初步成績，月收入突破3萬元人民幣，但面臨付費轉化率低的挑戰。團隊計劃通過差異化功能和調整訂閱模式解決問題，同時承諾解決產品設計中的挑戰。盈利空間有限，將關注MRR指標確保可持續發展。

【AiBase提要:】

📈 LobeChat雲服務一個月月收入突破3萬元人民幣，付費用戶數達60+，展現商業化希望。

🔍 付費轉化率低，僅不到1%，可能因市場競爭激烈和功能差距。

💡 LobeChat團隊計劃推出差異化功能和調整訂閱模式，關注MRR指標確保可持續發展。

詳情鏈接:https://lobechat.com/welcome

5、Diffusion 模型也能“舉一反三”?阿里IC-LoRA給圖像生成模型增加情節記憶力能力

阿里巴巴通義實驗室最新研究表明，現有的文生圖Diffusion Transformer模型已具備生成多張具有特定關係圖像的能力，通過IC-LoRA的加持，模型變得更智能，只需少量樣本即可學會新技能。研究人員設計了簡單有效的流程，喚醒Diffusion模型的“上下文學習”能力，大大降低了AI模型的訓練成本，讓更多人蔘與AI創作。IC-LoRA的出現是AI圖像生成領域的里程碑式進步，讓每個人都能成爲藝術家。

【AiBase提要:】

🔍 現有的文生圖Diffusion Transformer模型已具備生成多張具有特定關係圖像的能力

🧠 IC-LoRA加持使模型變得更智能，只需少量樣本即可學會新技能

💡 設計簡單有效的流程喚醒Diffusion模型的“上下文學習”能力

詳情鏈接:https://ali-vilab.github.io/In-Context-LoRA-Page/

6、顛覆視頻編輯!開源神器ComfyUI-MochiEdit 支持視頻轉視頻，局部編輯

我想象過像操控文字一樣編輯視頻的情景，現在這個想法已經成爲現實。ComfyUI-MochiEdit是一款基於ComfyUI和Genmo Mochi的開源視頻編輯工具，它提供了一種全新的視頻編輯思路:將視頻轉換爲噪聲，再通過目標提示重新採樣噪聲，生成全新視頻。這種方法實現了局部編輯和視頻轉視頻功能，讓用戶可以輕鬆修改視頻的部分而無需處理整個視頻。

【AiBase提要:】

⚙️ 視頻轉噪聲再重採樣，實現局部編輯和視頻轉視頻功能

🎨 可將輸入視頻轉換爲具有特定風格或內容的新視頻

🔧 用戶可通過調整節點參數控制最終視頻效果

詳情鏈接:https://github.com/logtd/ComfyUI-MochiEdit?tab=readme-ov-file#mochi-unsampler

7、AI熱潮推動!Python超越JavaScript，成GitHub最受歡迎編程語言

Python在GitHub開發者平臺成功超越JavaScript，主要源自生成式人工智能熱潮。GitHub指出AI並未降低開源項目代碼質量，反而促進了AI項目貢獻增長。開發者越來越多地將AI模型集成到工具鏈中，關注小型高效模型和AI代理自動化。2024年最受關注的開源AI項目是“ollama/ollama”，展示了AI領域的快速發展。

【AiBase提要:】

🌟 Python成功超越JavaScript，成爲GitHub最受歡迎編程語言，受益於生成式人工智能熱潮。

📈 生成式AI項目貢獻增長59%，總數增加98%，推動了AI領域的發展。

🤖 GitHub表示AI並未降低開源項目代碼質量，開發者對小型高效模型和AI代理自動化表現出濃厚興趣。

8、Meta最新黑科技:Sparsh賦予機器人“人類級”觸覺，靈巧操作不再是夢!

Meta FAIR 實驗室近日發佈了名爲“Sparsh”的人工多模態指尖觸覺感知技術，爲機器人賦予近似人類的觸覺感知能力，將在機器人操控領域帶來革命性變化。該技術採用自監督學習，利用46萬+觸覺圖像進行預訓練，支持多種視覺觸覺傳感器，顯著提升機器人在觸覺感知任務上的性能。發佈的Sparsh模型標誌着AI觸覺感知領域的重大突破，未來有望改變機器人與物理世界交互方式。

【AiBase提要:】

🤖 Sparsh模型採用自監督學習，預訓練使用46萬+觸覺圖像，無需人工標註數據，學習通用觸覺表徵。

👆 Sparsh模型支持多種視覺觸覺傳感器，如DIGIT、GelSight2017和GelSight Mini，提升機器人在觸覺感知任務上的性能。

🌟 Sparsh模型在TacBench基準測試平臺上表現出色，在力估計、滑動檢測等任務中即使使用1%標註數據也能取得滿意結果。

詳情鏈接:

https://scontent-sjc3-1.xx.fbcdn.net/v/t39.2365-6/464969941_1107633400780143_7479102347328147009_n.pdf?_nc_cat=103&ccb=1-7&_nc_sid=3c67a6&_nc_ohc=y8Ui1HEw3BQQ7kNvgFe-ePu&_nc_zt=14&_nc_ht=scontent-sjc3-1.xx&_nc_gid=AeaFsuZziasVwPfMQsEoZqu&oh=00_AYAMqxGq0ATCySDxZWB0ZT8BgSkogYmj13c9f3ytVtkmSg&oe=672DEEE4

9、全新開源音頻模型Hertz-Dev:超低延遲，實現AI實時對話

在當今科技的浪潮中，對話式人工智能（AI）已經成爲我們生活中的重要組成部分。Standard Intelligence Lab推出的Hertz-Dev開源音頻模型，實現了超低延遲的實時對話AI，爲人與機器之間的互動帶來新的希望。

【AiBase提要:】

🌟 Hertz-Dev是一個開源的8.5億參數音頻模型，理論延遲僅爲80毫秒，實際延遲爲120毫秒，極大提升了實時對話體驗。

💡 獨立開發者和研究人員可以輕鬆使用先進的實時對話AI技術，無需龐大硬件支持，降低了門檻。

🚀 Hertz-Dev的廣泛應用將推動人工智能在客戶支持、智能家居等領域發展，讓人與機器的互動更爲自然。

詳情鏈接:https://github.com/Standard-Intelligence/hertz-dev

10、前小鵬高管創辦 AI 陪伴機器人公司，成功融資千萬元!

作爲前小鵬機器人產品設計負責人的孫兆治創辦的上海珞博智能科技有限公司成功完成千萬元級人民幣的天使輪融資。公司專注於AI陪伴機器人領域，產品定位爲“AI潮玩”，將兼顧桌面和可穿戴場景，具備多項創新特性。

【AiBase提要:】

🚀 珞博智能完成千萬元級人民幣的天使輪融資，主要來自行業投資者。

💡 公司成立於2024年1月，首款產品定位爲“AI潮玩”，已完成前三輪原型機設計開發。

🔑 創始人孫兆治具有豐富的用戶體驗設計和工業設計背景，公司目標市場明確，面向年輕女性用戶的情感陪伴需求。