Appleは、多くの新しいApple Intelligence機能を含むiOS 18.2の最初の開発者向けベータ版をリリースしました。その新機能の一つに、待望のChatGPTとの統合があります。これにより、デバイスの画面に表示されている内容に関する詳細をSiriに尋ねることができるようになりました。

SiriにChatGPTを統合することで、AppleのバーチャルアシスタントはOpenAIプラットフォームを使用して複雑な質問に答えることができます。しかし、iPhone、iPad、またはMacの画面上のコンテンツも読み取ることができます。例えば、動画を視聴中またはInstagramで誰かの写真を見ている場合、「ここはどこですか？」や「写真にある建物は何ですか？」といった質問をすることができます。

QQ20241025-090648.png

出典：9to5mac

Siriはスクリーンショットを撮影してChatGPTにアップロードし、ChatGPTはコンテキストを理解してデータベースを使用して回答を提供します。もちろん、プライバシーの観点から、Siriはデバイスのスクリーンショットを撮影してChatGPTに送信する前に、常にユーザーの許可を求めます。

iPhone 16を持っていない人にとって、この機能は特に興味深いものです。なぜなら、iPhone 16はこれまでVisual Intelligenceに対応した唯一のデバイスだからです。この機能を使用すると、ユーザーは「カメラコントロール」を押して、カメラで見ているものに関する情報を取得できます。Visual Intelligenceは、Apple Intelligence、ChatGPT、Googleを使用して回答を提供します。

Appleは、Apple Intelligence言語モデルを利用して独自の画面認識機能も開発しています。ただし、この機能はiOS 18の次回のアップデート（おそらく来年）で提供される予定です。この機能が利用可能になると、Siriはコンテキストを理解し、画面上のコンテンツに基づいて行動します。処理はすべてデバイス上で行われます。

QQ20241025-090806.png

出典:9to5mac

ChatGPTの統合に加えて、iOS 18.2にはImage Playground、Genmoji、そして再設計されたメールアプリも含まれています。

現在、iOS 18.2ベータ版はApple Intelligenceと互換性のあるデバイスでのみ利用可能です。つまり、iPhone 15 Pro以降とM1 iPad以降です。もちろん、このアップデートは最終的に他のデバイスにも提供される予定です。

Appleは以前、iOS 18.2を12月に一般公開すると示唆していました。iOS 18.1は来週リリースされ、Appleのスマートライティングツールと通知およびテキストのサマリーが含まれています。