字節跳動Seed團隊近日發出內部郵件,宣佈成立一個名爲Seed Model-Alignment&Preparedness的新部門,由原Responsible AI團隊和部分Chat團隊成員轉入,由嚴林負責,直接向Seed負責人吳永輝彙報。把安全與對齊單獨拎出來成立一級部門,意味着這家公司在模型安全方向上的投入被提到了一個新量級。
對齊這個詞的內核很直白:讓模型的行爲始終貼着人類意圖和安全約束走,別跑偏、別自作主張。新部門要啃的兩塊硬骨頭也很清楚——一是提升Agent Model也就是智能體模型的安全能力,二是防範CBRN這類前沿能力風險。CBRN指的是化學、生物、放射與核,都是一旦被模型不當釋放就可能造成嚴重後果的能力域。換句話說,當字節的智能體開始自己動手幹複雜任務,它要先在籠子裏被馴服,再被放出去幹活。
VIP會員