B 站宣佈開源了 Index-1.9B 模型,這一輕量級 AI 語言模型的推出引起了廣泛關注。Index-1.9B 模型包含多個版本,其中包括基座模型、對照組和對話模型。
1.9B包含:Index-1.9B base : 基座模型,具有19億 非詞嵌入參數量,在2.8T 中英文爲主的語料上預訓練,多個評測基準上與同級別模型比處於領先
Index-1.9B pure : 基座模型的對照組,與base具有相同的參數和訓練策略,不同之處在於嚴格過濾了該版本語料中所有指令相關的數據,以此來驗證指令對benchmark的影響
Index-1.9B chat : 基於index-1.9B base通過SFT和DPO對齊後的對話模型,由於預訓練中引入了較多互聯網社區語料,聊天的趣味性明顯更強
Index-1.9B character : 在SFT和DPO的基礎上引入了RAG來實現fewshots角色扮演定製

Index-1.9B產品入口:https://top.aibase.com/tool/index-1-9b
