近日，人工智能公司 Anthropic 正式推出了其新產品 —— 消息批量處理 API（Message Batches API）。這項新技術讓企業在處理大量數據時的費用減少了50%，這一舉措無疑爲大數據處理帶來了福音。

image.png

通過這項 API，企業能夠在24小時內異步處理高達10，000條查詢，讓高端 AI 模型變得更加平易近人。

隨着 AI 技術的不斷髮展，企業面臨的挑戰也在加大，尤其是在數據處理方面。Anthropic 此次推出的批處理 API 在輸入和輸出的令牌費用上，均比實時處理便宜50%。

image.png

具體定價

以一半的成本實現高吞吐量

開發人員經常使用 Claude 來處理大量數據 — 從分析客戶反饋到翻譯語言 — 這些數據不需要實時響應。

據官方介紹，開發者無需管理複雜的排隊系統或擔心速率限制，而是可以使用 Batches API 提交最多10，000個查詢的組，並讓 Anthropic 以50% 的折扣處理處理。批次將在24小時內處理，但通常要快得多。其他優勢包括:

  • 增強的吞吐量:享受更高的速率限制，以處理更大的請求量，而不會影響您的標準 API 速率限制。

  • 大數據的可擴展性:處理大規模任務，例如數據集分析、大型數據集分類或廣泛的模型評估，而無需擔心基礎設施問題。

Batches API 爲大規模數據處理開啓了新的可能性，這些可能性以前不太實用或成本高昂。例如，通過利用Batches API折扣，分析整個公司文檔存儲庫（可能涉及數百萬個文件）在經濟上變得更加可行。

這不僅使得中型企業能更加輕鬆地利用 AI 技術，也讓 Anthropic 在與其他 AI 公司，特別是 OpenAI 的競爭中，增加了籌碼。OpenAI 早些時候也推出了類似的批處理功能，因此此次 Anthropic 的動作顯得尤爲關鍵。

image.png

有趣的是，這一變化不僅是單純的降價策略，更是一次行業定價理念的轉變。通過大規模處理的折扣，Anthropic 在爲 AI 計算創造經濟規模的同時，也可能會推動中型企業的 AI 應用普及。想象一下，以前認爲昂貴且複雜的大規模數據分析，現在變得如此簡單而划算。

值得一提的是，Anthropic 的批處理 API 已經可以在其 Claude3.5Sonnet、Claude3Opus 和 Claude3Haiku 模型中使用。未來，這一功能還會在 Google Cloud 的 Vertex AI 和 Amazon Bedrock 上得到擴展。

相較於需要實時響應的應用，批處理雖然速度較慢，但在很多業務場景下，“適時” 的處理往往比 “實時” 處理更爲重要。企業開始重視如何在成本和速度之間找到最佳平衡，這對於 AI 的實現將會有新的影響。

然而，儘管批處理的優勢明顯，它也引發了一些思考。隨着企業習慣於低成本的批處理方式，是否會對實時 AI 技術的進一步發展造成影響?爲了維護健康的 AI 生態系統，必須在推進批處理和實時處理能力之間找到合適的平衡點。

劃重點:

✅ Anthropic 新推出的消息批處理 API 讓企業處理大量數據的費用減少50%。  

✅ 新 API 支持高達10，000條異步查詢，提升了大數據處理的可及性。  

✅ 企業在 AI 應用中開始重視 “適時” 處理，可能會對實時 AI 的發展造成挑戰。