一言入力して、LEGOデザインのセットを出力しよう! CMUが公開したLegoGPT AIプロジェクト

LegoGPT」を発表しました。このモデルは、自然言語テキストから積み木で組み立てられるデザインを自動生成します。プロジェクトはGitHubでオープンソース化されており、ユーザーは自由にモデルとデータセットをダウンロードして試したり拡張したりすることができます。

LegoGPTは自己回帰型の大規模言語モデルによって駆動され、47,000以上のブロックが含まれる28,000を超えるユニークな3Dオブジェクトで構成されるトレーニングデータを使用しています。ユーザーは「ギターのような形」といったテキストプロンプトを入力するだけで、安定して組み立てられるLegoの組み立て図を生成できます。 その主な特徴は、組み立て過程における「有効性チェック」と「物理的なロールバック」メカニズムです。これにより、生成されたブロック配置が重複したり浮いたりすることを防ぎます。また、人間やロボットが指示に従って組み立てられる構造化された設計図を生成し、文字による説明も付属します。