Prolific、12万人の実データで大規模モデルにRLHFを実現!

ソース:

ソース:
大規模言語モデル(LLMs)は優れた自然言語処理能力で知られていますが、実際には推論段階で高い計算コストとメモリ消費の問題に直面しています。LLMsの効率性を向上させるため、研究者らはQ-Sparseと呼ばれる技術を導入しました。Q-Sparse手法は、活性化にtop-Kスパース化とストレートスルー推定器を適用することで、完全スパース活性化の状態圧縮を実現し、推論効率を大幅に向上させます。研究によると、Q-Sparseは結果を維持したまま...
Anthropic、NVIDIA、アップル、Salesforceなど複数のテクノロジー大手企業が、17万3536本のYouTube動画の字幕データを無断で使用し、AIモデルの学習に利用していたと非難されている。これらの動画は4万8000以上のチャンネルから収集されており、教育、オンライン学習、エンターテインメントなど多岐にわたるコンテンツが含まれる。David Pakman Show、『ステファン・コルト・レイトショー』、『ジミー・キンメル・ライブ!』なども含まれる。
最近の調査で、アップルを含む複数のテクノロジー大手企業がYouTube動画の字幕をAIモデルの学習に使用していたことが明らかになりました。これらのデータは17万本以上の動画を網羅しており、MKBHDやMrBeastといった著名なクリエイターのコンテンツも含まれていました。アップルはこれらのデータを用いて、今年4月に公開されたオープンソースモデルOpenELMを訓練しました。
AnthropicとMenlo Venturesは、総額1億ドルのAnthology Fundを共同設立しました。このファンドは次世代AIスタートアップ向けに設立され、適合する各スタートアップに最低10万ドルの資金提供と、AnthropicとMenlo Venturesからのサポートとリソースを提供します。Daniela Amodei社長によると、この連携を通じて、AIを活用して人間の能力と生産性を向上させる革新的なアプリケーションの開発を加速させることを目指しています。
OpenAIのCEO、サム・アルトマン氏がサンフランシスコに所有する2700万ドルの豪邸が、深刻な問題を抱えています。ロンバルディ通りに位置するこの豪邸は、約9500平方フィートの広さを誇り、素晴らしいインフィニティプールを備えています。しかし、昨年からプールからの漏水が発生し、家屋内部の複数階が浸水、石膏天井が崩落、大規模なカビ被害も発生しました。プールの修理費用は400万ドルにのぼると推定されています。さらに悪いことに、下水管システムにも問題があり、接続されていない浴室の排水管から未処理の排水が…