微軟正全面推進其人工智能戰略，將 Copilot 集成作爲 Windows11 的核心組成部分，推出一系列生成式 AI 功能，旨在徹底改變用戶與 PC 的交互方式。新功能涵蓋語音控制、屏幕內容分析以及有限的本地自動化代理，目標是讓 Copilot 成爲用戶與 PC 交互的“主要方式”。

“嘿，Copilot”:語音控制成爲主流

用戶現在可以通過說出“嘿，Copilot”來激活 Windows PC 上的 Copilot。該功能是可選的，激活後會顯示麥克風圖標和音頻信號。微軟聲稱，語音用戶與 Copilot 的互動次數是文本用戶的兩倍，表明語音交互具有更高的用戶粘性。會話可自動或通過“再見”命令結束。

爲了便捷訪問，Copilot 將被添加到 Windows 任務欄，包含一個新的按鈕用於語音和視覺工具，用戶可通過語音命令訪問 Windows 設置。微軟同時計劃提供一個純文本選項，滿足用戶無需說話即可交互的需求。

QQ20251017-092228.png

Copilot Vision:實時屏幕分析與上下文幫助

“Copilot Vision”功能現已在全球所有支持 Copilot 的設備上推出。該功能能夠分析屏幕上的內容，並在用戶進行照片編輯、遊戲或 Office 工作期間提供上下文相關的幫助。微軟表示，Copilot Vision 可以處理和分析 Word、Excel 和 PowerPoint 中的整個文檔，提供強大的生產力支持。

“Copilot Actions”:有限制的自主本地代理

微軟還推出了一個名爲“Copilot Actions”的測試功能，允許 Copilot 在本地計算機上處理一些簡單的任務，例如搜索 PDF 或整理照片。該功能將首先在 Copilot Labs 中以預覽版的形式面向 Insider Program 用戶推出。用戶可以隨時觀察 Copilot 的工作過程，並隨時介入干預。

微軟承認，這些基於代理的功能目前仍是有限且可能出錯的，尚無法可靠地控制複雜的軟件。鑑於研究表明基於代理的 AI 系統可能帶來安全風險，微軟表示，用戶測試將是提高可靠性的關鍵。

與中國初創公司 Manus 合作:系統級本地文件訪問

此外，微軟與中國初創公司 Manus 進行了集成。據報道，Manus 代理使用了 Anthropic 模型，內置於 Windows 資源管理器中，允許用戶只需右鍵單擊即可從本地文件創建網站。Manus 使用由 Anthropic 設計的“模型上下文協議”，實現了系統範圍內對本地內容的訪問。

聯網服務與遊戲應用擴展

  • Copilot Connectors 允許用戶從 OneDrive、Outlook、Gmail 或 Google Drive 等關聯服務中提取數據。用戶可以使用“查找我的牙醫預約詳情”等提示來搜索預約、聯繫人或文檔，並將結果直接導入 Word、Excel 或 PowerPoint。

  • 在遊戲領域，“Gaming Copilot” 現已在華碩的 Windows 掌機 ROG Xbox Ally 上推出。用戶只需按下按鈕即可激活，無需暫停遊戲即可在《我的世界》等遊戲中幫助導航或解釋遊戲機制。

大多數新功能均可在任何支持 Copilot 的 Windows11設備上運行，但微軟推薦使用 Copilot+ 電腦以提高處理速度和執行本地 AI 任務。只有特定的 “Click to Do” Zoom 集成功能明確要求使用 Copilot+ 電腦並參與 Windows Insider 計劃。