人工知能の大規模モデルが急速に進化する今日、外部からは技術の進化はアルゴリズムのアップグレードと膨大な自動学習データに完全に依存していると考えられている。しかし、最新の暴露された内部文書はその一般的な認識を完全に打ち破った。404Mediaによると、OpenAIでは長期間にわたり「リリープロジェクト（Project Lily）」という名前の人工評価プロジェクトが存在しており、チャットGPTユーザーの実際のチャット記録を人間の審査員が手作業でレビューし、点数をつけることが行われていた。

この業務において、「プロンプトレビュー担当者」と呼ばれる従業員は匿名化された実際のユーザー会話のサンプルを確認し、モデルの回答品質を評価しなければならない。彼らの審査の重点は、回答がテーマに合っているか、そしてテキストに過度な「AI的な」態度や高慢な説教調、絵文字やへつらうような口調が含まれていないかを見極めることである。注目すべきは、このプロジェクトの操作ガイドラインがAIが擬人化表現や「個人経験」を作り出すことを厳しく禁止していることである。たとえば、「いくつかの情報を確認しました」と言うことは許されるが、「シェフとして私は…」や「このような感覚を理解しています」という表現は許されない。

仕事内容は比較的単調だが、簡単なタスクであれば時給が50ドル以上とされているため、多くの人が参加している。

しかし、このメカニズムの背後にはプライバシーの懸念が隠れている。多くのユーザーはChatGPTを一時的な相談相手や心理的サポートのパートナーと見なし、内面の秘密を打ち明けることが多い。OpenAIはチャット記録が匿名化され、ユーザー名が非表示になると公言しているが、同社はメディアに対してフィルタリングプロセスが一部の個人情報を見逃す可能性があることを認めている。特に短い会話ではそのリスクが高い。

さらに驚くべきことに、審査員に渡される会話のバージョンには「ユーザー記憶の要約」が添えられることがある。ここにはユーザーの質問、興味関心、文脈情報、場合によっては位置情報などが詳細にまとめられている。

注意すべきは、「リリープロジェクト」はモデルの回答が事実上正確かどうかを特別に検証しないということである。誤りが明らかに見えるもののみがマークされるため、効果評価や安全検査は通常他の独立チームが担当している。また、ほとんどの普通のチャットボットは「あなたの会話記録を使用して製品を改善する」オプションをデフォルトで有効にしている。企業、ビジネスおよび教育版の顧客向けにはこの設定はデフォルトで無効になっており、スイッチを切り替えることも可能だが、その変更は過去のデータに影響を与えない。すでにデータベースに保存されている履歴は引き続き保持され、ユーザーが会話を削除しても、その内容はすでに取得されて匿名化され、あるデータセットに残されている可能性がある。

メディアからの問い合わせに対し、OpenAIは最初、ユーザーがチャット記録が人工的にレビューされる可能性について明確に知らされていないかどうかについては直接回答しなかったが、モデルの最適化のために人工的なレビューが行われるというFAQページを提供した。この深い報道が公開された後、OpenAIは助けページを静かに修正し、ユーザーがデータ収集を中止する方法を追加したが、修正後のドキュメントでは依然として、実際にスタッフが会話内容を直接読むという事実を避けていた。