提供12萬人真實數據,Prolific想讓大模型都能用上RLHF!

來源:

來源:
Meta週三向Axios發表聲明,宣佈由於歐盟法規不明確,該公司將不會向歐盟國家的客戶發佈其新的多模態AI模型或未來版本。這一決定引發了對歐盟AI監管環境的廣泛討論,同時也反映了美國科技巨頭在面對全球不同監管要求時的策略調整。
大型語言模型(LLMs)因出色的自然語言處理能力而聞名,但在實踐中,它們的推理階段面臨高計算成本和內存佔用的挑戰。爲了提高LLMs效率,研究人員引入了一項名爲 Q-Sparse 的技術。Q-Sparse 方法通過在激活中應用 top-K 稀疏化和直通估計器,實現了完全稀疏激活的狀態壓縮,顯著提升推理效率。研究發現,Q-Sparse 能在保持結果與 baseline LLMs相當的條件下,提高推理效率。這種方法適用於全精度和 1 位(如 BitNet b1.58)LLMs。 稀疏激活通過減少矩陣乘法和輸入/輸出傳輸量來提高效率。Q-Sparse 在每個線性投影中實現全激活稀疏化,通過 top-K 稀疏化函數實現與反向傳播中梯度計算的直通估計器相結合,進一步提高了激活稀疏性。採用平方 ReLU 函數提高激活稀疏性。 實驗結果揭示,隨着模型大小和稀疏比率的增加,稀疏激活模型的性能提高,這也適用於從頭開始訓練、已有的 LLMs 繼續訓練和微調。Q-Sparse 還被應用於包括 BitNet b1.58 和混合專家(MoE)在內的 LLMs,並探索兼容批量模式的優化以增加訓練和推理的靈活性。
多個科技巨頭,包括Anthropic、英偉達、蘋果和Salesforce等,被指控在未經同意的情況下,使用了YouTube平臺上的173,536個視頻的字幕數據訓練人工智能模型。這些視頻來自超過48,000個頻道,內容涵蓋了教育、在線學習以及娛樂等領域。包括David Pakman Show、《Stephen Colbert晚間秀》、《Jimmy Kimmel Live》等知名頻道和品牌都被用於數據集,這些數據集被稱爲"YouTube Subtitles"。部分創作者表示並不知情自己的內容被用於這類項目,引發了版權、倫理和補償問題的討論。儘管YouTube禁止未授權抓取平臺內容,一些AI公司依然通過不明方式獲得了這些數據,用於模型訓練。該行爲導致了一些法律和道德挑戰,部分創作者對此表示憤怒,並質疑AI公司應爲此支付費用。
近日,一項調查揭示了包括蘋果在內的多家科技巨頭曾利用YouTube視頻字幕來訓練AI模型。這些數據涵蓋了超過170,000個視頻,其中包括知名創作者如MKBHD和Mr. Beast的內容。蘋果公司利用這些數據訓練了其開源模型OpenELM,該模型於今年4月發佈。
Anthropic攜手Menlo Ventures共同創立了Anthology Fund,總規模達到1億美元。該基金專爲下一代AI初創企業設立,計劃爲每家合規初創企業撥款至少10萬美元,並提供Anthropic與Menlo Ventures的支持與資源。總裁Daniela Amodei表示,通過這一合作,旨在加速開發利用AI提升人類能力與生產力的創新應用,尤其是在醫療、法律服務、教育、能源等領域。基金的附加價值包括多種支持、專家指導、開發者關係支持,與人工智能公司網絡的連接,以及定期會議等。項目體現了對人工智能應用創新的堅定支持,與OpenAI的類似基金相呼應。Anthropic與Menlo Ventures的合作不僅可以爲初創企業提供資金資源,還有助於AI領域的生態系統拓展與高標準行業實踐的推廣。