近日，GPT-oss 的表現引發了不少關注，甚至讓人感到驚訝。這款大型語言模型在沒有任何提示的情況下，自主構思出一個複雜的編程問題，並且竟然重複解答了超過5000次!這個問題圍繞多米諾骨牌展開，要求在一個 NxM 的網格中，放置一個多米諾骨牌以佔據兩個相鄰的格子，剩下的空格則必須能完全拼成多個2×2的方塊。如此複雜的邏輯，竟然是 GPT-oss 在完全無提示的情況下自行想出的。

據分析，這一現象的出現源於對 GPT-oss-20b 生成的千萬個示例的研究。研究發現，該模型的訓練數據覆蓋了多種編程語言，其中對 Perl 的偏愛尤爲明顯，這讓許多觀察者質疑，實際上 Java 和 Kotlin 的佔比應該更高。此外，GPT-oss 在數學和代碼領域的表現極其突出，似乎更像是一個在特定推理任務上優化得過度的工具，而非普通的自然語言處理模型。

image.png

而令人好奇的是，在長時間的推理過程中，GPT-oss 的表達方式也出現了變化。許多推理鏈從英語開始，逐漸演變爲一種被稱爲 “Neuralese” 的特有語言，甚至可以在阿拉伯語、俄語、中文等多種語言之間自由切換。這樣的語言轉換現象反映出模型在處理複雜文本時可能存在的獨特機制。

不過，模型在創造性方面的表現卻並不理想甚至曾經生成了一些虛構的物理學理論，例如 “量子重波動理論”，這顯然是個並不存在的概念。還有人發現，GPT-oss 在與人交流日常瑣事時，有時會拒絕討論，甚至崩潰刪除部分內容，這使得它在非編程領域的實用性大打折扣。

GPT-oss 的這些奇特行爲讓我們對其訓練數據和內部機制產生了更多的思考，也爲未來的語言模型改進提供了新的方向。