在數字時代，內容安全問題愈發受到重視。9月26日，OpenAI 正式推出了一款全新的多模態內容審覈模型，名爲 “omni-moderation-latest”。

該模型基於最新的 GPT-4o 技術，能夠準確地識別檢測有害文本圖像。這一更新將爲開發者提供強大的工具，讓他們能夠構建更強大的審覈系統。

image.png

新模型的亮點在於，它支持對文本和圖像輸入進行審覈，特別是在處理非英語內容時表現更加出色。

與之前的審覈模型相比，“omni-moderation-latest” 不僅提高了識別的準確性，還增加了檢測更多有害內容的能力。它可以對暴力、自殘和性內容等多個類別進行評估，確保用戶能夠在一個更安全的空間中交流。

OpenAI自2022年推出內容審覈 API （Moderation API ）以來，自動化審覈系統需要處理的內容量和種類不斷增加，尤其是隨着越來越多的人工智能應用進入大規模生產階段。如今，許多公司，例如 Grammarly 和 ElevenLabs，都在使用這一 API 來保護用戶安全，防止不當內容的產生。

image.png

新模型的優勢體現在多個方面:

首先，它可以進行多模態的有害內容分類，針對圖像和文本的組合進行評估，識別暴力殘及性相關的風險。

其次，模型新增了兩類文本審覈，分別是與違法和暴力相關的內容，進一步增強了審覈能力。

另外，對於非英語內容的檢測，準確度大幅提升測試顯示在40語言中的準確率提高了42%，尤其在低資源語言上表現更爲突出。

image.png

對於開發者來說，這款新的審覈模型依舊是免費的內容審覈 API 可以輕鬆接入。OpenAI 希望這項升級能讓更多的者利用最新的研究成果和安全系統，爲用戶創造更加友好的在線體驗。

官方博客:https://openai.com/index/upgrading-the-moderation-api-with-our-new-multimodal-moderation-model/

** 劃重點:**  

📊 新模型 “omni-moderation-latest” 基於 GPT-4o 技術，支持和圖像的多模態審覈。  

🌍 針對40種語言的檢測準確率提升42%，特別是在低資源語言上表現優異  

🔒 新增兩類文本審覈，了對違法和暴力內容的識別能力。