Etched公司押注Transformer架構推出革命性AI芯片Sohu

在人工智能發展日新月異的今天，一家名爲Etched的公司正在押上一切，賭注於一種被稱爲Transformer的AI架構。該公司近日宣佈推出全球首款專爲Transformer設計的專用集成電路（ASIC）芯片——Sohu，聲稱其性能遠超目前市面上的任何GPU，將爲AI領域帶來革命性變革。

Transformer架構主導AI領域

Etched公司在2022年做出了一個大膽預測:Transformer架構將主導AI世界。事實證明，他們的判斷是正確的。如今，從ChatGPT到Sora，從Gemini到Stable Diffusion3，每一個最先進的AI模型都採用了Transformer架構。正是基於這一判斷，Etched公司花費兩年時間開發出了Sohu芯片。

Sohu芯片通過將Transformer架構直接燒錄到硬件中，實現了前所未有的性能提升。雖然這意味着Sohu無法運行大多數傳統AI模型，如Instagram廣告背後的DLRM、蛋白質摺疊模型AlphaFold2或早期的圖像模型Stable Diffusion2，但對於Transformer模型而言，Sohu的速度遠超其他任何芯片。

性能優勢顯著

據Etched公司介紹，一臺配備8個Sohu芯片的服務器在運行Llama70B模型時，可以實現每秒處理超過50萬個token的驚人速度。這一性能比英偉達即將推出的下一代Blackwell （B200） GPU還要快上一個數量級，而成本卻更低。

具體而言，一臺8xSohu服務器可以替代160個H100GPU。這意味着使用Sohu芯片可以大幅降低AI模型的運行成本，同時顯著提高處理速度。

押注背後的邏輯

Etched公司之所以如此堅定地押注Transformer架構，是基於他們對AI發展趨勢的深刻洞察。公司認爲，規模化是實現超人類智能的關鍵。過去五年裏，AI模型在大多數標準化測試中已經超越了人類，而這主要歸功於計算能力的大幅提升。例如，Meta公司在訓練Llama400B模型時使用的計算資源是OpenAI訓練GPT-2時的5萬倍。

然而，繼續擴大規模面臨着巨大挑戰。下一代數據中心的成本可能超過一個小國的GDP。在當前的發展速度下，我們的硬件、電網和財力都難以跟上。這正是Sohu芯片的機會所在。

專用芯片的必然性

Etched公司認爲，隨着摩爾定律放緩，提高性能的唯一途徑就是專業化。在Transformer架構主導AI領域之前，許多公司都在研發靈活的AI芯片和GPU，以應對各種不同的架構。但現在，隨着市場對Transformer推理的需求從約5000萬美元激增至數十億美元，加上AI模型架構的趨同，專用芯片的出現成爲必然。

當模型的訓練成本達到10億美元，推理成本超過100億美元時，即使1%的性能提升也足以證明5000萬至1億美元的定製芯片項目是值得的。而實際上，ASIC的性能優勢遠不止於此。

Sohu芯片的工作原理

Sohu芯片之所以能夠實現如此高的性能，是因爲它專門爲Transformer架構優化。通過移除大部分控制流邏輯，Sohu可以容納更多的數學運算單元。這使得Sohu的FLOPS利用率超過90%，而GPU上運行TRT-LLM時的利用率僅爲30%左右。

Etched公司解釋說，由於GPU的大部分面積都用於保證可編程性，專門針對Transformer的設計可以容納更多計算單元。事實上，H100GPU的800億晶體管中，只有3.3%用於矩陣乘法。而Sohu通過專注於Transformer，可以在芯片上容納更多的FLOPS，而無需降低精度或使用稀疏性技術。