AIbase報道 - アップルの研究チームは、最新の論文「UICoder: 通過自動フィードバックで大規模言語モデルを微調整してユーザーインターフェースコードを生成する」において、注目すべき技術的突破を紹介しました。それは、オープンソースモデルを用いてSwiftUIユーザーインターフェース開発を自律的に学習させることに成功したことです。
大規模言語モデルは、創造的なライティングやプログラミングの分野では優れた性能を発揮していますが、「文法的に正しい、デザインが良いUIコード」を生成する点では依然として大きな欠点があります。研究チームは、特に構成されたデータセットにおいて、UIコードの例が極めて少ないことを指摘しています。一部のコードデータセットでは、その割合が1%未満に過ぎません。
研究チームは、オープンソースプログラミングモデルStarChat-Betaをベースに、独自の自動フィードバックループ方法を採用しました。データ生成: モデルにUIの説明リストを提供し、大量のSwiftUIプログラムの合成データセットを生成します。品質選別: Swiftコンパイラを使ってコードの実行可能性を検証し、GPT-4Vの視覚モデルを利用して界面と元の説明を比較します。反復最適化: コンパイル失敗、関係ないまたは重複する出力を除外し、高品質なトレーニングデータのみを残してモデルを微調整します。
5ラウンドの反復後、チームは996,000個のSwiftUIプログラムを含む膨大なデータセットを取得し、UICoderモデルを成功裏に訓練しました。
テスト結果によると、UICoderは自動化指標と人間による評価の両方でベースのStarChat-Betaモデルを大幅に上回り、全体的な品質ではGPT-4に近い水準に達しています。コンパイル成功率はGPT-4をも超えています。
研究における重要な発見は、データ分析から得られました。StarChat-Betaの元のトレーニングデータにはほぼSwiftUIの内容が含まれていなかったのです。TheStackデータセットを作成する際、Swiftコードライブラリは意図せずに排除され、OpenAssistant-Guanacoデータセットではわずか0.01%のSwiftコード例しかありませんでした。
この発見は、UICoderの性能向上が既存のデータを再整理した結果ではなく、自動フィードバックループによって構築された自生成の精選データセットを通じて真正の学習的突破を遂げたものであることを証明しています。
研究チームは、この方法の成功が他のプログラミング言語やUIツールキットへの応用可能性を示していると述べています。これにより、AIによるソフトウェア開発の新たな可能性が開かれました。
論文のURL: https://arxiv.org/html/2406.07739v1