在2022年全球生成式 AI 浪潮的背景下，元始智能（RWKV）於2023年12月完成數千萬人民幣的天使輪融資，由天際資本投資。此次融資後，公司估值翻倍，資金將用於團隊擴展、新架構研發及產品商業化。

RWKV 的出現，是對傳統 Transformer 架構的一次有力挑戰。隨着大語言模型（LLM）的發展，雖然模型的參數規模日益龐大，但其在幻覺和準確率等問題上的短板始終難以解決。因此，RWKV 的創始團隊決定探索一種全新的架構，以期實現更高的效率和靈活性。

投資，融資，錢

RWKV 的設計理念與 Transformer 截然不同。聯合創始人羅璇表示，傳統的 Transformer 模型每次生成一個 Token 時，都需要重新 “讀取” 前文，而 RWKV 則不需要記錄每個 Token 的狀態，從而顯著降低計算量。RWKV 通過結合 RNN（循環神經網絡）的優點，實現了在效率和語言建模能力上的突破。

這一創新架構的優勢在於，RWKV 能夠在有限的狀態空間中處理信息，通過強化學習方法，模型能夠自動判斷何時需要回顧前文，從而提升其記憶能力。相較於傳統模型，RWKV 在多項基準測試中表現優越，證明其在語言學習效率上的提升。

目前，RWKV 已經完成了從0.1B 到14B 的模型訓練，且在海外社區發佈了32B 的預覽模型。在未來，元始智能計劃在2025年推出70B 及以上參數的 RWKV-7，並探索新型推理框架和芯片，以進一步提升模型性能。

在業務方面，RWKV 不僅提供開源項目，還積極進行商業化佈局，涉及 AI 音樂生成及與企業的合作，已與國家電網等多家企業達成合作。隨着技術的發展和商業化的推進，RWKV 力爭成爲大模型領域的 “安卓和 Linux”。