Nabテーマ、よりプロフェッショナルなナビゲーションテーマ
Ctrl + D このサイトをブックマークする
現在の場所図頭 " AIニュース

イーロン・マスクのxAIオープンソースGrok-1

2024-03-18 1.0 K

要約:イーロン・マスクとxAIは、彼らの巨大な314Bパラメトリック言語モデルGrok-1の重みとアーキテクチャをオープンソースのApache 2.0ライセンスで公開した。

 

3,140億パラメータを持つMixture-of-ExpertsモデルGrok-1の重みとアーキテクチャを公開しました。これは2023年10月の事前学習フェーズにおけるGrok-1のオリジナル・ベース・モデルのチェックポイントであり、特定のアプリケーション向けに微調整されたものではありません。このモデルは、JAXとRustのカスタムトレーニングスタックを使用して、大量のテキストデータでトレーニングされました。重みとアーキテクチャはApache 2.0ライセンスの下でリリースされている。モデルを使用するには、モデルを github.com/xai-org/grok に関する指示を見る。

 

イーロン・マスクのxAIオープンソース Grok-1-1

 

詳細はこちら。

Grok-1はハイブリッドエキスパートモデルであり、より効率的な計算のために、任意の入力トークンに対して25%の重みのみがアクティブになる。

公開されたモデルは、2023年10月からの未訓練のチェックポイントであり、特定のタスクのために微調整されたものではない。

xAIはGitHubリポジトリで開発者向けのガイドを提供し、Hugging Faceでモデルを公開している。

重要性:世界最大のLLMの1つをオープンソース化することで、xAIはマスク氏がOpenAIのクローズドモデルとの道徳的な戦いと見ているものに先手を打っている。Grokの機能はまだ新たな障壁を打ち破ってはいないが、この動きは共同的で透明なAI開発にとってもう一つの大きな勝利である。

おすすめ

AIツールが見つからない?こちらをお試しください!

キーワードを入力する アクセシビリティこのサイトのAIツールセクションは、このサイトにあるすべてのAIツールを素早く簡単に見つける方法です。

コードをスキャンしてください

qrcode

お問い合わせ

トップに戻る

ja日本語