AI もあなたと同じように Minecraft をプレイできるようになりました - これが重要な理由です

AI もあなたと同じように Minecraft をプレイできるようになりました - これが重要な理由です

OpenAI の専門家は、人間のプレイヤーと同じレベルで Minecraft をプレイできるようにニューラル ネットワークをトレーニングしました。

ニューラル ネットワークは、70 時間の多様なゲームプレイ映像を使用してトレーニングされ、請負業者が特定のゲームプレイ タスクを実行したビデオの小さなデータベースによって補完され、キーボードとマウスの入力も記録されました。

調整の結果、OpenAI は、このモデルが水泳から動物の狩猟、肉を食べることまで、あらゆる種類の複雑な能力を実行できることを発見しました。 彼はまた、プレイヤーがジャンプの途中で素材のブロックを下に置いて高さを稼ぐ「ピラージャンプ」もつかんだ。

おそらく最も印象的なのは、AI がダイヤモンド ツール (長い一連のアクションを順番に実行する必要がある) を作成できたことで、OpenAI はこれをコンピューター エージェントとしては「前例のない」成果であると述べています。

AIのブレークスルー?

Minecraft プロジェクトの重要性は、OpenAI が AI モデルをトレーニングするために実装している Video PreTraining (VPT) と呼ばれる新しい技術の有効性を実証することであり、同社によれば、この技術により「一般的なコンピューターを使用するエージェント」の開発をスピードアップできる可能性があるという。 」

これまで、AI モデルをトレーニングするためのソースとして生のビデオを使用する場合の難しさは、何が起こったのかを理解するのは非常に簡単ですが、どのようにして起こったかが必ずしも理解できないことでした。 これは、AI モデルは望ましい結果を吸収しますが、それらを達成するために必要な入力の組み合わせを理解できないためです。

ただし、VPT を使用すると、OpenAI は、公開 Web ソースから取得した大規模なビデオ データセットと、関連するキーボードとマウスの動きでタグ付けされた慎重に選択された画像のセットを組み合わせて、参照モデルを確立します。

基本モデルを改良するために、チームは特定のタスクを教えるために設計された小さなデータセットを組み込みます。 これに関連して、OpenAI は、木の伐採やクラフト テーブルの構築などのゲーム初期のアクションを実行するプレイヤーの映像を使用しました。これにより、モデルがこれらのタスクを実行できる信頼性が「大幅に向上」したと考えられます。

もう XNUMX つの手法は、一連のタスクの各ステップを完了した AI モデルに「報酬を与える」ことであり、これは強化学習として知られています。 このプロセスにより、ニューラル ネットワークが人間レベルの成功率でダイヤモンドのつるはしのすべての材料を収集できるようになりました。

「VPT は、エージェントがインターネット上の大量のビデオを見て行動する方法を学ぶ道を開きます。表現的な背景のみを生成する生成ビデオ モデリングやコントラスト手法と比較して、VPT は「大規模なビデオから直接学習する」という刺激的な可能性を提供します。言語だけでなく、より多くの領域におけるビデオの行動の先行事例」と OpenAI はブログ投稿で説明しました (新しいタブで開きます)。

「私たちは Minecraft でしか実験を行っていませんが、このゲームは非常にオープンで、ネイティブのヒューマン インターフェイス (マウスとキーボード) は非常に汎用的です。そのため、私たちの結果は、たとえばコンピューターの使用など、他の同様の分野でも良い前兆になると考えています。」

この分野での新たな実験を促進するために、OpenAI は MineRL NeurIPS コンペティションと提携し、AI を使用して Minecraft の複雑な問題を解決しようとする参加者にビジネス データとモデル コードを寄付しました。 グランプリ: 100,000 ユーロ。