最近,短視頻領域又迎來了一項重大技術突破 —— 快手推出的 KuaiMod,這一基於大模型的內容審覈框架,有望徹底改變短視頻生態的現狀。今天,咱們就深入剖析一下,KuaiMod 到底有哪些厲害之處。
短視頻的 “煩惱”:不良內容氾濫
現在的短視頻平臺,像快手、TikTok 這些,那發展速度簡直像坐火箭一樣!每天都有海量的視頻上傳,其中不乏很多優質內容,給大家帶來知識和歡樂。但問題也來了,有些不良視頻也趁機混入其中,對平臺生態造成了不小的威脅,尤其是對未成年人的身心健康可能產生危害。
爲了攔住這些不良內容,內容審覈環節就變得至關重要。傳統的審覈方式,就像讓一羣 "人工裁判" 按照既定的規則去判斷每個視頻是否合規。但這種方式問題不少:
- 人工審覈成本超高,而且人嘛,總會有主觀偏見
- 隨着短視頻數量的暴增,人工審覈的速度根本跟不上
- 早期AI方法準確率不高,只能在特定場景下勉強使用
- 大語言模型面對複雜的短視頻內容也有點力不從心
KuaiMod 來 “救場”:借鑑法律智慧打造審覈神器
面對這些難題,快手的研究人員靈機一動,從法律體系裏找到了靈感。大家知道,法律分爲民法體系和普通法體系,傳統的審覈方式就像民法體系,依賴固定的規則。而快手這次借鑑的是普通法體系,它不依賴死板的條文,而是根據以往的案例來做判斷,更加靈活。KuaiMod 就是基於這個思路誕生的!
打造審覈 “題庫”:KuaiMod 基準數據集
在正式介紹 KuaiMod 之前,得先說說它的 “祕密武器”——KuaiMod 基準數據集。研究人員從快手平臺收集了大量視頻,精心挑選出1000個,有健康積極的,也有包含各種不良內容的。這些不良內容被細分成15個類別,像危害社會安全與法律、違反內容倫理、禁止的商業行爲、侵犯知識產權等等。
這些數據可不是隨便找的,積極的視頻來自人工審覈過的高質量視頻隊列,而且用戶反饋都很好;不良視頻則來自高舉報、高差評和負面評論多的視頻。收集好之後,30位經驗豐富的標註員仔細標註,最終確定了這個涵蓋各種類型的測試集。這可是第一個開源的短視頻平臺內容審覈基準數據集,意義非凡!
KuaiMod 的 “修煉祕籍”:三步走策略
1. 數據構建:給模型 "喂" 好料
訓練數據的來源和標註過程和基準數據集類似,但規模更大。研究人員從快手平臺的四個視頻隊列裏採樣了50000個視頻,還利用元啓20B 模型來幫忙標註。遇到標註員不好分類的視頻,就讓元啓20B 模型生成補充標籤,然後人工審覈後再加入分類體系。現在這個分類體系已經擴展到100多個違規類別了,而且還在不斷更新。
2. 離線適配訓練:打磨模型 "基本功"
有了數據,接下來就是訓練模型。這一步分爲兩個關鍵環節:
- 大規模監督微調(SFT):讓模型在大量案例中學習如何分析視頻內容
- 基於錯誤的直接偏好優化(DPO):專門揪出模型犯的錯誤,通過對比正確和錯誤的輸出,讓模型不斷改進
3. 在線部署與優化:讓模型 "與時俱進"
短視頻平臺的內容變化太快了,靜態的審覈模型根本跟不上節奏。所以,KuaiMod 設計了一個基於用戶反饋的強化學習(RLUF)機制,讓模型能根據平臺的實時反饋不斷優化審覈策略。
效果驚人:KuaiMod 實力大展示
離線評估:碾壓一衆 “選手”
研究人員找了好多其他的審覈方法來和 KuaiMod 對比,有基於 API 的,像谷歌的 Perspective API;有基於小模型的,比如 RoBERTa;還有基於大模型的,像 Intern-VL。結果發現,KuaiMod 在各項指標上都表現得超級出色!
從召回率、精確率和準確率這些指標來看,KuaiMod 在判斷視頻是否違規以及違規類別上,都比其他方法更準確。就算是和強大的 GPT-4o 相比,KuaiMod 在多類別分類任務上也毫不遜色,甚至更勝一籌。而且,通過消融實驗發現,KuaiMod 的每個組件都很重要,少了誰都不行,這也證明了它設計的合理性。
在線應用:平臺的 “救星”
KuaiMod 在快手的多個場景中都進行了部署,像 NEBULA、Featured 和 Main Site,這些場景每天都有上千萬的活躍用戶。
在綜合生態治理方面,KuaiMod 把違規視頻找出來並處理掉,大大降低了用戶舉報率,同時還讓平臺的日活躍用戶數(DAU)和總應用使用時間(AUT)保持穩定甚至上升,這說明它讓用戶在平臺上的體驗更好了。
在個性化推薦方面,KuaiMod 根據不同用戶對不良內容的接受程度,調整推薦策略。結果 DAU 和 AUT 都增加了,這表明它不僅能保證平臺的 “綠色健康”,還能提升平臺的收益。
未來可期:短視頻 “淨化大師” 的展望
KuaiMod 的出現,給短視頻平臺的內容審覈帶來了新的希望。它用創新的方法解決了傳統審覈方式的難題,通過獨特的數據構建、訓練和優化機制,成爲了一個高效、準確的內容審覈框架。
不過,技術總是在不斷髮展,未來還有很多挑戰等着。但有了 KuaiMod 這個好的開始,相信在它的基礎上,短視頻平臺的內容審覈會越來越智能、越來越高效,咱們以後刷短視頻的時候,看到的不良內容會越來越少,享受的優質內容會越來越多!家人們,是不是很期待呢?