グーグルは最新版のChrome 149ブラウザに、ネイティブにGemini 3.5 Flashモデルを統合し、新しい「スクリーンから選択」（Select from screen）のインタラクティブな機能をリリースしました。

この新機能により、ユーザーは画面の特定の部分を直接枠で囲み、AIと対話することができるようになります。開発者や一般ユーザーは、異なるモデルや複雑なツールを切り替える必要がなくなり、ウェブページを閲覧する際のAIとのインタラクション効率が大幅に向上しました。

image.png

全体アップロードにさようなら、ウェブの局所情報を正確にロック

グーグルの公式アップデート公告によると、ユーザーがChromeブラウザでGeminiを使用する際、カーソルを使って質問したい特定の領域を正確に描画することができます。枠で囲まれた画像やテキストのセグメントは自動的に添付され、リアルタイムでユーザーの入力プロンプトに組み込まれます。

この操作ロジックは、広く知られているGoogle Lens（グーグルレンズ）に非常に似ていますが、その核心的な利点は従来のウェブ検索結果ページにジャンプしない点です。代わりに、選択された局所的な内容がダイレクトに会話型AIアーキテクチャに送られ、詳細に対してより的確な回答が得られます。

3つのシナリオを支援し、エッジ側体験が全面的に革新

この機能のリリースにより、ユーザーには直感的な体験の向上がもたらされます。例えば、ショッピングサイトで数足の靴を枠で囲むことで、AIがどの靴が自分の運動スタイルに最適かを分析できます。また、複雑なグラフを枠で囲んでより明確な説明を得たり、ウェブのあるデザイン要素を選択してクリエイティブに再構築することも可能です。

一方で、Gemini 3.5 Flashモデルはネイティブなコンピュータ操作ツールも統合しています。これにより、AIインテリジェントエージェントはあらゆる環境において、ウェブサイトへのアクセス、長時間のフォーム入力、ボタンクリック、データ収集などのクロスプラットフォームの複雑なタスクをよりスムーズに実行できるようになります。