企業が人工知能の導入コストに対してより敏感になる中、コスト削減を求める声も高まっている。オープンソースモデルは1トークンあたりの費用を大幅に削減できるが、膨大なモデルの中から業務ニーズに最も適したものを正確に選ぶことはしばしば難しい。

この業界の課題に応えるため、マーケター向けにAIツールとエージェントを提供する企業であるWriterは、本日木曜日に新エースモデル「Palmyra X6」を正式リリースした。このモデルはZ.aiのオープンソースモデルGLM-5.2をベースに深く後処理されたもので、ユーザーに直接展開可能な高コストパフォーマンスの高いソリューションを提供することを目的としている。Writer公式によると、新しいモデルとアップグレードされた大規模モデル呼び出しフレームワークの両方を活用することで、基本的なタスクの処理コストは最大で50％削減される見込みだ。

新しいモデルのリリースとともに、Writerは標準的なエージェント呼び出しフレームワークにも大きなアップグレードを施し、木曜日から顧客に全面的に公開している。WriterのCEOであるMay Habib氏は、「企業顧客はさまざまなスコアリング基準を追い続けることに疲弊しており、彼らが本当に望んでいるのは安定して制御可能なコストの支払いである。現在では、このような約束を果たせる研究室がほとんどない」と述べた。

新たな技術的解決策は、多段階の複雑なタスクを効率的に処理することに焦点を当てており、トークンの消費を抑えるとともに実行速度を向上させることを目指している。Writerの研究者たちは最近、このアプローチを裏付ける論文を発表した。その論文では、異なる複数のモデル上でフレームワークの効率を微調整テストした結果、最適化されたフレームワークが単にモデルを交換するよりもコスト効率が高いことが示され、テスト中の全体的な費用は平均して約40％減少した。

新しくリリースされたPalmyra X6は依然としてモデルに偏らない特性を維持しており、Writer自社製品やAzure、Amazon Bedrockを通じて導入された外部モデルとの連携が可能だが、コストの急激な増加が企業の情報責任者（CIO）たちが主要なAI研究室に抱く信頼を揺らがせている。Habib氏は、「現時点でのAI研究室が企業が実際に人工知能を通じて有益を得るのを支援する点において、まだ多くの課題がある」と語っている。