4月29日,RWKV基金會宣佈開源發佈了RWKV7-G11.5B推理模型,這是一款具備強大推理能力和多語言支持的模型,特別適合在端側設備(如手機)上運行。該模型基於World v3.5數據集訓練,包含小說、網頁、數學、代碼和推理數據,總數據量達到5.16T tokens。
RWKV7-G11.5B模型在推理邏輯性方面表現出色,能夠完成多語言、數學和代碼任務。其英語和多語言能力顯著強於同規模的開源模型,包括同期發佈的Qwen3-1.7B-Base。在MMLU(Multilingual Mathematics Language Understanding)評測中,該模型的準確度達到了48.2%,比之前的RWKV-7World1.5B的44.8%有顯著提升。
在“無法作弊的評測”(Uncheatable Eval)中,RWKV7-G11.5B的綜合得分在同參數規模的開源模型中處於領先地位,超越了Qwen2.5-1.5B,僅次於參數更多的Qwen3-1.7B。這一評測使用最新的論文和新聞文章等實時數據,評估開源大語言模型的真實建模能力和泛化能力。
RWKV7-G11.5B模型支持全球100多種自然語言,比同參數量的Transformer模型更強。在多語言翻譯任務中,該模型能夠準確地將中文翻譯爲多種語言。此外,該模型還具備基礎的代碼能力,能夠完成Leetcode題目,並在數學題目解答中表現出色。
爲了方便用戶體驗,RWKV基金會提供了在線demo和移動端聊天APP。用戶可以通過Hugging Face或魔搭社區的在線demo體驗已完成訓練的RWKV7-G10.1B、0.4B和1.5B模型。此外,還提供了處於內測階段的RWKV端側聊天APP,支持Android和iOS版本。
RWKV7-G11.5B模型的發佈計劃包括G10.1B、0.4B、1.5B和即將發佈的2.9B模型。當前已發佈的模型包括G10.1B、0.4B和1.5B,而G12.9B模型預計將在5月中旬發佈。此外,RWKV基金會也在準備更大更優的數據集World v3.7,預計不久將開始訓練RWKV7-G17B模型。
快速體驗 G11.5B:https://huggingface.co/spaces/RWKV-Red-Team/RWKV-LatestSpace