レッドハット社は最近、レッドハット AI 推論サーバー（Red Hat AI Inference Server）の正式なリリースを発表しました。このサーバーは、ハイブリッドクラウド環境向けに効率的で経済的なAI推論サービスを提供することを目的としています。先進的なvLLM技術とNeural Magicの革新力を組み合わせることで、ユーザーにさらなる高速応答と優れたパフォーマンスを提供したいと考えています。

image.png

レッドハットAI推論サーバーは、高性能を追求したオープンな推論ソリューションであり、高度なモデル圧縮・最適化ツールを搭載しています。その設計思想は、vLLMの先端技術とレッドハットのエンタープライズ能力を融合し、ユーザーが柔軟に展開オプションを選択できるようにすることです。ユーザーは、独立したコンテナ製品として利用するか、レッドハットエンタープライズLinux（RHEL AI）やレッドハットOpenShift AIとの統合を選択できます。

さまざまな展開環境において、レッドハットAI推論サーバーは強化されたvLLMディストリビューションをユーザーに提供します。主な機能には、インテリジェントLLM圧縮ツールが含まれ、基礎AIモデルおよび微調整AIモデルのサイズを大幅に削減しつつ、計算リソースの消費を最小限に抑え、モデルの精度を維持します。さらに、レッドハットは検証済みのAIモデルをホストする最適化モデルリポジトリを提供しており、これはレッドハットAI組織のHugging Faceにあります。ユーザーは即座にアクセスでき、これらのモデルを推論展開で効率を向上させることができます。その効率向上率は2～4倍に達し、モデルの精度には影響を与えません。

レッドハットは、コミュニティプロジェクトを生産環境へ移行させる多くの経験に基づく強力な企業サポートを提供しています。また、レッドハットAI推論サーバーは、非レッドハットLinuxやKubernetesプラットフォームでの柔軟な展開もサポートしており、ユーザーがデプロイメント環境を選ぶ際の選択肢を広げています。

レッドハットAI事業部門の副社長であるジョー・フェルナンデス氏は次のように述べています。「推論は生成型AIの核心的な価値であり、ユーザーがインタラクションを行う際に正確な返答を迅速に提供します。我々の目標は、大規模な推論ニーズを効率的かつ経済的に満たすことです。」レッドハットAI推論サーバーの登場により、ユーザーは異なるモデルの加速をサポートする汎用的な推論レイヤーを手に入れることになります。

ポイントを押さえる:

🚀 レッドハットAI推論サーバーはvLLMとNeural Magic技術を組み合わせ、ハイブリッドクラウド環境向けに効率的な推論サービスを提供します。

📉 インテリジェントLLM圧縮ツールと最適化モデルリポジトリにより、推論効率を2～4倍向上させます。

🛠️ 企業級サポートと柔軟な展開オプションを提供し、多種多様なOSやプラットフォームに対応します。