2025年の大学入試が終了するやいなや、「AIは数学の大学入試問題を解けるか?」という実践テストが同時に展開されました。専門メディアによる2回の評価で、クアクルはそれぞれ145点と146点を獲得し、トップに立って「豆包子」を上回り、国産AIの数学能力の新たな指標となりました。
公開評価では、「クアクル」「豆包子」「元宝」「ChatGPT」といったモデルが参加しました。すべてのモデルが2025年全国一巻の数学試験を使用し、ネットワーク検索はオフにして、深層思考モードのみが許可されました。
藍鯨財経の評価では、クアクルが145点でトップに立ちました。特に選択問題と穴埋め問題では、クアクルの正解率は93%で、第一位に位置しました。8つの単一選択問題の中で、すべてのAI製品が第6問目を間違えましたが、その原因はAIが図内のベクトル座標と矢印の向きを誤認識したためだと推測されます。
さらに「四木相対論」の評価では、クアクルが再び146点で首位となりました。回答スピードにおいても、クアクルが第一位、豆包子が第二位でした。たとえば解答問題の場合、クアクルは4分以内で1問を完了できる一方、他の製品の平均時間は6分前後です。
クアクルの解く能力を支えるのは「クアクル学習エリート大モデル」です。このモデルは通義千問をベースとしており、数十億規模の学習データベースと後段トレーニング能力を活用し、特に理科系の複雑な問題に優れています。ユーザーにイノベーティブな学習体験を提供します。