人工知能技術会社のOpenAIは、このほどデスクトップ版Codexアプリケーションの最新アップデートを正式に公開しました。今回のアップデートで最も注目されている変更点は、Macオペレーティングシステム用バージョンが新機能「Appshots」を正式リリースしたことです。この機能は、AIがユーザーのソフトウェアアプリケーションのウィンドウを直接読み取り、理解できるようにするものです。

この新しい機能により、MacユーザーはキーボードのCommandキーを押すだけで、現在アクティブなアプリケーションウィンドウをスクリーンショットとしてCodexに迅速に送信できます。この取り組みはユーザーの操作プロセスを大幅に簡略化し、デスクトップ端末でのAIとのインタラクティブ体験を新たな段階へと進めるものとなっています。

画面の制限を超えて隠れたテキストを読み取る

注目すべき点は、Appshots機能がデータを伝送する際には従来の視覚的なスクリーンショットにとどまらないということです。画面をキャプチャするだけでなく、ウィンドウ内の文字コンテンツを深く読み取ることができ、画面内でスクロールによって一時的に表示されていない隠れた部分も含めます。

OpenAI公式は、この機能がユーザーの実際の作業シーンにおける核心的な課題を解決するためのものです。例えば、開発者がブラウザでウェブページをデバッグして不具合を見つける場合や、デザイナーが複雑なUIデザインを実現する場合など、ユーザーはこの機能を利用して複雑なUIを直接伝送でき、手動で画像を貼り付けたりテキストをコピーしたりする煩雑なステップを回避することができます。

コアタスク管理機能が本格的になり

また、非常に革新的なウィンドウ読み取り機能に加え、以前から注目を集めていたタスク管理指令も今回のアップデートで実験段階を終了し、全ユーザーに本格的にリリースされました。ユーザーは今や、Codexアプリケーション、統合開発環境（IDE）拡張、またはコマンドラインインターフェースで明確な長期的な目標を設定できます。