最近、バイトダンス傘下のSeedチームは、AIコード共有プラットフォームのHugging Faceで最新のオープンソース大規模言語モデル「Seed-OSS-36B」をリリースしました。この新しいモデルは高度な推論と開発者フレンドリー性に焦点を当てており、最大で512,000トークンの入力テキスト処理をサポートするという大きな特徴を持っています。これは、アメリカのテクノロジー企業であるOpenAIやAnthropicの製品よりも優れています。

image.png

Seed-OSS-36Bシリーズには3つの主要なバリアントがあります：Seed-OSS-36B-Base（合成データ付き）、Seed-OSS-36B-Base（合成データなし）およびSeed-OSS-36B-Instruct。合成データバージョンは標準ベンチマークテストでより優れたパフォーマンスを示し、一般的な用途に適しています。一方、合成データが含まれないバージョンは、研究用にさらに純粋なベースを提供します。Seed-OSS-36B-Instructはタスク実行と指示の遵守に特化しており、後工程でパフォーマンスを最適化するようにトレーニングされています。

すべてのモデルはApache-2.0ライセンスに基づいており、研究者や開発者はこれらのモデルを無料で使用、変更、再配布でき、バイトダンスのライセンス料を支払う必要はありません。これは、中国企業がオープンソースモデル分野でまた一つ重要な進展を遂げたことを意味し、国際的な応用にも多くの可能性をもたらします。

Seed-OSS-36Bの設計と主要な特徴には、36億のパラメータ、64層のアーキテクチャ、155,000のトークンの語彙量が含まれます。このモデルの長文処理能力和推論予算の設定により、開発者はタスクの複雑さに応じてモデルの推論深度を調整できます。また、数学やプログラミングのタスクにおいて業界で最も高い成績を収めているなど、いくつかのベンチマークテストで優れた性能を示しています。

Seedチームは特にモデルのアクセス性に注目しており、ユーザーはHugging Face Transformersを通じて配置でき、4ビットおよび8ビットの量子化形式をサポートしてメモリ要件を削減します。さらに、チームは推論、プロンプトカスタマイズ、ツールの統合のためのスクリプトを提供しており、小規模なチームにとっての操作のハードルをさらに低下させています。

高性能かつ柔軟なデプロイメントが可能なオープンモデルを提供することにより、バイトダンスのSeedチームは企業、研究者、開発者に対して新たな選択肢を提供しています。

huggingface:https://huggingface.co/collections/ByteDance-Seed/seed-oss-68a609f4201e788db05b5dcd

ポイント：

🌟 Seed-OSS-36Bモデルは最大で512,000トークンの入力をサポートし、競合他社を上回っています。

💡 モデルは合成データ付きとなしのバージョンに分けられ、さまざまなユーザーのニーズに対応しています。

🔧 すべてのモデルは無料で利用でき、多様なデプロイメントおよび統合オプションをサポートしており、開発者の操作が容易です。