OpenAI 宣佈在其高級語音模式中新增了期待已久的視頻聊天和屏幕共享功能。

這一新功能現已在 iOS 和 Android 移動應用程序中向 ChatGPT Teams、Plus 和 Pro 用戶開放,預計將在明年1月向 ChatGPT 企業版和教育版訂閱用戶推送。不過,來自歐盟、瑞士、冰島、挪威和列支敦士登的用戶將無法使用這一高級語音模式。

image.png

OpenAI 在今年5月首次提及這一功能,當時公司展示了 GPT-4o 如何 “觀看” 遊戲並解釋遊戲進程。隨後,高級語音模式於9月正式推向用戶。用戶可以通過高級語音模式屏幕上的新按鈕開始視頻通話,這種視頻模式類似於 Facetime,ChatGPT 能夠實時響應用戶在視頻中展示的內容。

在 OpenAI 的演示中,ChatGPT 通過視頻功能幫助用戶沖泡咖啡。它能夠識別咖啡器具,指導用戶何時放入濾紙,並對衝泡結果進行評價。此外,ChatGPT 也能記住自我介紹的人,表現出更高的互動性。這種視頻互動方式與谷歌最近推出的 Project Astra 相似,後者同樣能夠在視頻聊天中回答用戶關於所見物體的問題,比如識別倫敦街頭的雕塑。

屏幕共享功能則使 ChatGPT 能夠超越應用程序本身,進入瀏覽器環境。用戶只需通過三點菜單打開屏幕共享,便可在手機上打開應用,並詢問 ChatGPT 關於其所見的內容。在演示中,OpenAI 的研究人員觸發了屏幕共享,然後打開了消息應用,請求 ChatGPT 幫助回覆一條照片信息。

然而,ChatGPT 的屏幕共享功能與微軟和谷歌近期推出的類似功能有相似之處。上週,微軟推出了 C o p i l o t Vision 的預覽版本,允許 Pro 訂閱用戶在瀏覽網頁時打開 C o p i l o t 聊天,能夠識別網頁上的照片或幫助進行地圖猜謎遊戲。而谷歌的 Project Astra 也可以以相似方式讀取瀏覽器內容。

此外,OpenAI 還推出了一個輕鬆有趣的 “聖誕老人模式”,用戶可以與模仿聖誕老人聲音的 ChatGPT 進行對話。

image.png

不同於新功能的用戶限制,“聖誕老人模式” 在移動應用程序、網頁版本及 Windows 和 MacOS 應用中均可使用,直到明年1月初。需要注意的是,與聖誕老人的聊天不會被保存到聊天記錄中,也不會影響 ChatGPT 的記憶功能。

劃重點:  

🎥 新增視頻聊天功能,ChatGPT 可實時響應用戶所見內容。  

🖥️ 屏幕共享功能上線,用戶可在手機上請求 ChatGPT 提供幫助。  

🎅 “聖誕老人模式” 上線,用戶可以與模仿聖誕老人聲音的 ChatGPT 互動。