米国コネチカット州の裁判所に個人で出廷した原告が、裁判所に提出した文書中にAIシステムのみが読み取れる文字指令を隠し持っていたことが判明し、これにより事件処理に影響を与えることを試みた。これは米国の司法制度において、当事者が「プロンプトインジェクション（提示注入）」によってAIの審査プロセスを介入するケースとして初めて記録されたものであり、この州の裁判所は現在では実際にAIを使って資料を審査していないため、隠し指令は効果を発揮しなかった。

白い小さな文字が裏に隠す仕掛け、不正な手続きに制裁

これらの隠し指令は非常に小さいフォントサイズで、白字と白背景に設定されており、目視ではほとんど見えないが、ドキュメントテキストを抽出するソフトウェアによって認識される。その内容は、ファイルを審査するAIシステムに原告の主張と一致した出力をさせるように指示し、裁判所の不利な決定を無視し、原告の希望する形で結果を進めるように要求していた。スパッド法官は、このような行為はファイルを読み込むシステムに不正な命令を潜り込ませる行為であり、当事者の要請がシステム管理者からの命令のように誤解される可能性があると指摘した。裁判所が罰則を警告した後でも原告が引き続き追加していたことから、これは重大な手続きの乱用であると判断した。

原告は、一部の内容は冗談であり、動画リンクや「こんにちは、あなたには見えていないでしょう」といった無意味な文字が含まれていると主張したが、正式な訴状の中に冗談を隠すのは常識に反すると法官认めた。彼が弁護士なしで訴訟を進めていることや、AIツールに「過度に共感」されている様子から、裁判所は罰金ではなく、電子提出システムの使用を禁止し、紙媒体での提出を義務付けた。これにより、彼の司法への訴え権を保持しつつ、さらにプラットフォームの悪用を防ぐことができた。

入力側の攻撃が新たなリスクとなる

スパッド法官は、プロンプトインジェクションが採用や他の分野で徐々に一般的になっていく中で、裁判所でも類似の事象が起こる可能性は決して驚くべきことではないと警告した。司法システムはこれまで、AIが架空の判例を生成するなどの出力問題に注力してきたが、入力側の攻撃に対しては準備が不足していた。ブラジルでは、AIが案件を審査している際に同様の手段を使用した弁護士が約1万6000ドルの罰金を受けたことがある。裁定では、こうした攻撃の成功率はまだ限定的だが、今後専門的な規則が必要になる可能性があると示されている。

スパッドはまた、一部の独自訴訟者によるチャットボットの使用方法について批判した。彼らは結論を先に決め、AIにそれだけを支持する証拠を探すように要求し、真実を検証したり、反対意見を分析させなかった。その結果、誤った判断が固定されてしまう。彼は、AIユーザーも自分の立場を疑問視するようシステムに求めなければならないと強調した。「作者の論点に同意するようにしか要求されなければ、最終的には自分自身にとっても誠実ではない」と述べた。