最近、SnorkelAIは、AIデータ開発プラットフォームSnorkel Flowに一連の新機能を追加しました。これにより、企業はAIおよび機械学習モデルの専門化を加速させることができます。これらの新機能は、予測型および生成型AI開発ライフサイクルにおけるデータ準備にかかる時間、コスト、複雑さを大幅に削減します。

脳 大規模モデル AI

画像出典：AI生成画像、画像ライセンス提供元Midjourney

今日の企業において、「AI対応データ」（AIに適したデータ）を持つことは極めて重要です。Gartnerによると、AI対応データとは、データが特定のユースケースを表す必要があるだけでなく、AIモデルの有効なトレーニングや実行のために、あらゆるパターン、エラー、例外、予期せぬ状況を網羅する必要があるということです。さらに、データの準備は一度限りの作業ではなく、継続的な取り組みが必要です。

Snorkel Flowの新バージョンは、企業がAIデータ開発の実践を導入・拡大し、高精度で専門性の高いAIモデルの生産と提供を加速するための強力なプラットフォームを提供します。

具体的には、新機能にはLLM評価ツールが含まれており、ユーザーは特定の業界のユースケースに合わせて評価をカスタマイズすることで、モデルエラーの種類を詳細に把握し、データ開発への迅速な介入と修正を行うことができます。さらに、高度なドキュメントブロック処理、埋め込みモデルの微調整、ドキュメントメタデータ抽出によるRAGチューニングワークフローも提供されます。これにより、AIアシスタントの応答品質を向上させるための開発時間を大幅に短縮できます。

また、PDFファイル向けの新しい固有表現認識（NER）機能により、ユーザーはテキストをクリックしたり、境界線を引いたり、パターンを指定したり、基本モデルに指示を与えるだけで、より簡単かつ迅速に情報を抽出できます。この柔軟性により、情報の取得が容易になり、NERモデルの精度が向上します。

さらに、Snorkel Flowはアノテーションとフィードバックのプロセスを簡素化し、専門家がより効率的にデータのラベル付けを行うことができます。また、新しく追加されたシーケンスラベリング分析ツールにより、ユーザーはモデル予測におけるエラーをより直感的に発見し、より詳細なパフォーマンス分析を行うことができます。

ユーザーエクスペリエンスの面では、Snorkel Flowは一連の最適化が行われ、データサイエンティストと専門家間のよりスムーズな協業が可能になりました。DatabricksやAmazon SageMakerなどの主要なAI開発プラットフォームとのシームレスな統合をサポートし、専門化されたモデルの微調整と展開をより迅速に行うことができます。

Snorkel AIの最高経営責任者（CEO）であるAlex Ratner氏は次のように述べています。「AIはすべての企業リーダーにとって優先事項となっていますが、継続的で一貫したAI開発作業は依然として非常に煩雑で、コストがかかり、多くの人的リソースを必要とします。そのため、これらのプラットフォームのアップデートは、企業がAIソリューションの提供を加速し、最適化する上で非常に重要です。」

要点：

🌟 新機能：Snorkel FlowはLLM評価ツールとRAGチューニングワークフローを発表し、データ準備の効率性を向上させました。

📄 簡単な抽出：新しい固有表現認識機能により、PDFからの情報の抽出がより簡単かつ迅速になりました。

🤝 エクスペリエンスの最適化：ユーザーエクスペリエンスが向上し、データサイエンティストと専門家間の効率的な協業が促進されました。