グーグルは新しくWebエンド向けのAI推論加速ライブラリ「LiteRT.js」を正式に公開しました。このライブラリはWebAssembly技術を採用し、WebGPUやWebNNなどのハードウェアアクセラレーション機能と深く統合されています。これは、TensorFlow.jsで使用されている従来のJavaScriptカーネル方式を置き換えることを目的としており、ブラウザ内の人工知能および機械学習ワークロードの実行速度を大幅に向上させます。

image.png

WebAssemblyは、二進数命令形式であり、ウェブページがブラウザでネイティブコードに近い高速度で高パフォーマンスな計算を実行できるようにします。TensorFlow.jsは、グーグルが以前に開発したクラシックなライブラリであり、開発者がTensorFlowで構築されたモデルを直接Webブラウザにデプロイし、クライアント側のAI機能を実現するサポートを行います。今回のリリースされたLiteRT.jsは、この基盤上で行われたアーキテクチャのアップグレードです。

実測では3倍の高速化、古い端末でも活用可能

グーグルは、2024年モデルのApple MacBook Pro（M4チップ搭載）で実証テストを行い、その結果、現在のソリューションと比較して、LiteRT.jsの推論速度は最大で3倍速くなったことが確認されました。しかし、グーグルはまた、古いハードウェアや異なるエンジンを使用しているブラウザで実際のパフォーマンスが多少異なる可能性があることも率直に述べています。