最近、米国メディアはアマゾン社内で重大なAIコストの暴走事故が発覚したことを暴露しました。あるエンジニアがAnthropicのClaude Sonnetモデルを使用してプログラムを作成し、电商平台の著者情報と商品リストのデータマッチングを目的とした一般的なデータ処理タスクを行ったものの、最終的に180万ドル（約1215万元人民元）の請求書が発生し、予算に比べて実際の支出は860％も増加しました。

驚くべきことに、このプロジェクトは最終的に実装されず、高額な計算リソースの使用が5か月間継続したため、会計担当者が対账時に異常を発見したのです。これは、誰も管理していないAIプログラムが半年間にわたって日夜「資金を浪費」し続けたことを意味しています。

コードの欠陥と監視の不在が、小さな穴から巨額の予算を食い尽くす

再現によると、事故の原因はそれほど複雑ではありませんでした。AIで生成されたプログラムには呼び出し頻度の制限がなく、モデルは引き続き要求を送り続け、クラウド計算リソースや大規模モデルの呼び出し費用が次々に累積しました。一方で、チーム側にはリアルタイムでのコスト警告メカニズムがなく、小さなコードの欠陥が長期間見過ごされ、予算をどんどん食い尽くしました。

アマゾン社内の会議で、役員はこの事故を「惨敗する典型的なケース」と定義し、内部で他にも同様のリスクが複数存在することを報告しました。あるプロジェクトでは意図せずに54万ドルの追加費用が発生しました。このようなトラブルが繰り返された後、アマゾンは緊急にリスク管理システムを構築し、AI関連の費用がしきい値に達すると自動的にトラフィックを制限し、タスクを中断する自動化された防御機構を導入する計画を立てました。また、すべてのAIで生成されたコードは人間による完全なレビューを受けることが義務付けられ、検証なしに直接本番環境に展開することを禁止されました。

伝統的なコードミスは時間を消費するが、暴走するAIは現金を失う

この事故は、多くの企業が見過ごしているリスクを露呈しています。従来のコードミスは人力の時間を消費しますが、暴走するAIプログラムは継続的にトークン料金を発生させ、予算の監視がなければ大きな損失につながります。現在多くの企業はAIによってコスト削減と効率向上を期待していますが、計算リソースの課金モデルにより新たなリスクが生じていることを見落としています。

「AIがコードを書くのを手伝う」から「AIが勝手に資金を浪費する」まで、アマゾンの教訓は単なる例ではありません。これは業界全体が新しい段階に入っていることを示しており、AIが補助ツールから自主的に動作する主体になることで、コスト管理の粒度も「プロジェクトレベル」から「毎回の呼び出しレベル」へと下がる必要があります。AIの効率向上の恩恵を享受する前に、「ブレーキ」をAIに取り付けることは、企業が今最も必要なことかもしれません。