Fireworks AI は最近、FireRouter with Opus をリリースしました。これは市場で初めてのキャッシュ感知ルーターであり、Claude Opusシリーズに最適化され、サーバーレスエンドポイントとして独立したルーティングモデルとして公開されました。1か月以上にわたる内部A/Bテストの結果、このソリューションはエンコードタスクの正確性が単独でOpusを使用する場合の98.1%に達し、コストは57%削減されました。

FireRouterのコアロジックは、ユーザーの各ラウンドにおいて、モデルセット内の各モデルが現在のタスクにどれだけ適しているかを評価し、各モデルの処理コスト（プロンプトキャッシュコストを含む）を推定します。また、モデルの切り替えによる節約とキャッシュの喪失のバランスを取って、品質とコストの間に最適なバランスを取ったモデルにルーティングします。現在のルーティングプールにはClaude Opus5.5、GLM5.3、およびGLM5.3Flashが含まれており、新しいモデルがリリースされるにつれて継続的に調整されます。

image.png

テストデータは内部のエンコードトラフィックから取得され、セッションはFireRouter with Opusグループまたは単にOpusのみを使用する対照群にランダムに割り当てられ、ワークロードとユーザーは同じです。その結果、セッションあたりのコストは15.36ドルから6.63ドルに下がり、57%（±19ポイント、95%信頼区間）の減少が確認されました。正確性に関しては、FireRouter with Opusはスコアリングラウンドで78.7%を記録し、単にOpusを使用した場合は80.2%でした。差は1.5ポイント（±1.3）で、Opus全体の正確率の98.1%に達しています。

キャッシュヒット率については、FireRouter with Opusは94.2%で、単独でOpusを使用した場合は97.8%でした。差は3.6ポイントです。Fireworks AIは、これはわずかで意図的なトレードオフであると説明しています。なぜなら、内部のエンコード作業ではオープンソースモデルが多くの通常のラウンドを処理できるため、キャッシュ感知ルーティングによって単純なタスクをより安価なモデルに振り分けることで、全体のコストを大幅に削減できたからです。

image.png

FireRouter with Opusは、Claude Code、Codex、Cursor IDEなどの複数のツールチェーンに統合されています。ユーザーは `fireconnect login` と `fireconnect claude --model firerouter/opus` の2つのコマンドを使用して有効にすることができます。Fireworks AIは、Fireworks Nexusソリューションがエンジニアリングチームが先進的なオープンソースモデルを既存のツールチェーンに接続することを可能にし、速度や品質を損なうことなく費用を半分に抑えることを目的としていると述べています。