GPT-4について知っておくべき4つのこと

公開: 2023-03-18

3 月 14 日火曜日、OpenAI は最新の機械学習モデルである GPT-4 をリリースしました。 ChatGPT のようにすぐに世界を揺るがせたわけではありませんが、それは主にそれに対応する光沢のある新しいインターフェイスがなかったためです. 私たちを信じてください - それはまだ信じられないほどエキサイティングです. GPT-4 について今すぐ知っておくべき 4 つのことを次に示します。

重要なこと 1: マルチモダリティはまだ実現していません

ローンチ前、GPT-4 に関する誇大宣伝の多くは、マルチモーダルであること、または入力としてテキストと画像の両方を受け入れることができることでした。現在、OpenAI は単一のパートナーである Be My Eyes とのマルチモダリティのみをテストしています。それ以外の場合、GPT-4 は依然としてテキスト入力のみを受け入れます。

事 #2: GPT-4 は、はるかに大きな入力を受け入れることができます

マルチモダリティがない場合、GPT-4 が GPT-3.5 と異なる最も明白な方法の 1 つは、はるかに大きな入力を受け入れることができることです (そして、より大きな出力を生成しますが、同じようには役に立ちません)。

GPT-3.5 で一度に使用できるトークンの最大数は 4,096 です。 GPT-4 の基本モデルでは、最大で 2 倍の 8,192 トークンになり、最大 32,768 トークンを処理できる 2 番目の GPT-4 モデルもあります。

それは実際にはどういう意味ですか？

手始めに、GPT-4に関するGPT-4 OpenAI のテクニカルレポート全体 (付録を除く) を読んでもらうことができるということです。 (これは 5,000 語を超える内容です。) レポートを要約し、欠落している重要な情報を指摘するように依頼しました。

GPT-4 の応答は次のとおりです。

プロンプト: この研究論文の要点を要約します。どのような重要な情報が欠落していますか? (OpenAI の GPT-4 テクニカルレポートの全文が続きます)

このテクニカルレポートは、OpenAI の GPT-4 の開発をまとめたものです。GPT-4 は、画像とテキストの入力を受け取ってテキスト出力を生成する大規模なマルチモーダルモデルです。 GPT-4 は、シミュレートされた司法試験で上位 10% を獲得するなど、さまざまな専門的および学術的なベンチマークで人間レベルのパフォーマンスを示しています。 これは Transformer ベースのモデルであり、トレーニング後のアライメントプロセスを使用してパフォーマンスが強化されています。

GPT-4 の主な機能は次のとおりです。

1. 対話システム、テキスト要約、および機械翻訳での潜在的なアプリケーションを使用して、画像およびテキスト入力を処理します。

2. 人間向けに設計された試験で高得点を取り、司法試験の模擬試験で受験者の上位 10% に入る。

3. 従来の NLP ベンチマークで以前の言語モデルと最先端のシステムを凌駕し、考慮された 26 言語のうち 24 言語で MMLU の翻訳バージョンで強力なパフォーマンスを示しました。

このレポートでは、ディープラーニングインフラストラクチャの開発と、さまざまなスケールで予測どおりに動作する最適化手法についても強調しています。これにより、研究者は、1/1,000 のコンピューティングでトレーニングされた小さなモデルに基づいて、GPT-4 のパフォーマンスを正確に予測できるようになりました。

ただし、GPT-4 には、完全な信頼性がない、コンテキストウィンドウが限られている、経験から学習できないなど、いくつかの制限があります。 その機能と制限は、特定されたリスクの中でも偏見、偽情報、過度の信頼、プライバシー、サイバーセキュリティなど、新たな安全上の課題をもたらします。

レポートでは、競争上の懸念と安全性への影響から、GPT-4 のアーキテクチャ、ハードウェア、トレーニングコンピューティング、データセットの構築、またはトレーニング方法について詳細に議論することは差し控えています。

全体として、GPT-4 の開発は、AI の分野で大きな進歩を遂げており、自然言語処理における革新的なアプリケーションの大きな可能性を示しています。また、継続的な改良と安全上の課題への注意の必要性も強調しています。

この研究論文では、GPT-4 のハードウェア、アーキテクチャ、データセットの構築、またはトレーニング方法に関する具体的な詳細は開示されていません。 これらの技術的側面に関するより多くの情報を入手することは、GPT-4 の研究を複製または構築しようとしている研究者にとって役立つでしょう。

GPT-3.5 以前のモデルでは、テクニカルレポート全体のような長い入力を行うことはできませんでした。これは非常に優れた進歩であり、コンテキストとしてより多くの情報をモデルに提供できるようになりました。

モデルはインターネットに接続されていないため、この機能は特に便利です。それが新しい情報を持つ唯一の方法は、あなたがそれを提供することです。

対照的に、テクニカルレポートを提供せずにGPT-4 とは何かを尋ねると、次のようになります。

プロンプト: GPT-4 とは何ですか?

GPT-4 は、さまざまな自然言語処理タスクで目覚ましい成果を上げた最先端の言語モデルである OpenAI の GPT-3 の仮説上の後継モデルです。 GPT-4 は現在利用できませんが、GPT-3 の機能をさらに改善することが期待されており、より人間らしいテキストの生成と理解が可能になる可能性があります。

言語モデルとしての GPT-4 の目標は、提供された入力のコンテキストに基づいて人間のようなテキストを生成することです。 それがどのように機能するかを理解するために、GPT-4 の機能を利用できるいくつかの実際のシナリオに飛び込みましょう。

あなたが作家だとしましょう…

…等々。

GPT-4 が知る限り、GPT-4 はまだ GPT-3 の仮想的な後継者です。 GPT-4 が既に存在する世界のテキストでトレーニングすることは明らかに不可能だったので、これは理にかなっています。モデルが見たすべてのコンテンツにおいて、GPT-4 はまだ将来の開発です。

ただし、これが意味することは、プロンプトでより多くの情報を提供することにより、新しいイベントや非常に詳細なトピックなどについて、GPT-4 からはるかに優れた結果を得ることができるようになったことです。

この改善によって可能になることに加えて、アーキテクチャの観点から検討することも非常に興味深いものです。より多くのトークンを受け入れるために、モデルははるかに大きなウィンドウで情報を呼び出して合成することができます。これは、より多くのレイヤーとパラメーターを使用してより大きなモデルを構築することによって単純に行われたのでしょうか?それとも、情報の処理と保存方法に根本的な変更が加えられたのでしょうか?

残念ながら、その質問に対する答えがないため、3 番目のポイントに至ります。

物事 #3: OpenAI はそれほど…オープンではありません…もう

GPT-4 の魅力的な点の 1 つは、その機能とはまったく関係ありません。それに関するOpenAIの研究論文から：

このレポートは、GPT-4 の機能、制限、および安全特性に焦点を当てています。 GPT-4 は、公開されているデータ (インターネットデータなど) とサードパーティプロバイダーからライセンスされたデータの両方を使用して、ドキュメント内の次のトークンを予測するように事前トレーニングされた Transformer スタイルのモデルです。次に、人間のフィードバックからの強化学習 (RLHF) を使用してモデルを微調整しました。競合状況と GPT-4 のような大規模モデルの安全性への影響の両方を考慮して、このレポートには、アーキテクチャ (モデルサイズを含む)、ハードウェア、トレーニングコンピューティング、データセットの構築、トレーニング方法などに関する詳細は含まれていません。

(私のものを強調)

モデルのサイズ、データセット、トレーニングなどの詳細はありませんか?

それは乱暴に開いていません。これは、以前の GPT に関する OpenAI の公開調査からの大きな逸脱でもあります。

また、競争環境と大規模モデルの安全性という 2 つの秘密保持の理由がいかに矛盾しているかにも注目する価値があります。「安全性への影響」には注意と慎重さが必要ですが、「競争環境」では他の誰にも打ち勝つために全力を尽くす必要があります。

まったく関係のないことですが、GPT-4 と同じ日に、他に 2 つの主要な AI の進歩がリリースされました。Anthropic の Claude モデルと Google の PaLM API です。

事 #4: AI はスターの学生になりつつある (しかし、まだ嘘をついている)

ローンチで最も広く共有されたグラフの 1 つは、さまざまなテストでの GPT-4 のパフォーマンスを示しています。標準化されたテストの点数が実際の成功と何らかの形で相関しているというのは、OpenAI がまだ幻想の下にあるように思われます。

笑。

ただし、注目に値するのは、GPT-4 がこれらのテストを受けるように特別に訓練されていないことです。これは、囲碁をプレイするように特別に訓練された AI モデルが、最終的に最高の人間のプレーヤーを打ち負かすというケースではありません。むしろ、これらのテストに合格する能力は、より「緊急の」知性を表しています。

GPT-3 のような以前のモデルも、特定のテストを受けるようにトレーニングされていませんでしたが、ご覧のとおり、GPT-4 のパフォーマンスは GPT-3 よりも大幅に改善されています。

標準化されたテストを受ける AI の能力を気にせず、AI が自分のやりたいことをどれだけうまくやってのけるか知りたいだけなら、これは朗報です。レポートから:

GPT-4 は、ユーザーの意図に従う機能において、以前のモデルよりも大幅に改善されています。 ChatGPT および OpenAI API に送信された 5,214 のプロンプトのデータセットでは、70.2% のプロンプトで GPT-4 によって生成された応答が GPT-3.5 によって生成された応答よりも優先されました。

したがって、GPT-4 は、GPT-3.5 よりも探しているものを提供する可能性が高くなります。それは素晴らしいことです。ただし、パフォーマンスが向上したにもかかわらず、新しいモデルには、既存の AI の友人から知っていて愛用しているのと同じ制限がすべて残っていることを覚えておくことが重要です。

レポートからの別の引用：

その機能にもかかわらず、GPT-4 には以前の GPT モデルと同様の制限があります。完全に信頼できるわけではなく (たとえば、「幻覚」に悩まされる可能性があります)、コンテキストウィンドウが限られ、経験から学習しません。特に信頼性が重要なコンテキストでは、GPT-4 の出力を使用する場合は注意が必要です。

実際、幻覚は以前よりもさらに大きな問題になる可能性があります。単純に、AI が向上すればするほど、AI の言うことを信じやすくなるからです。 GPT-3 と GPT-3.5 では、非常に頻繁に発生するため、モデルが完全にでっち上げになることは十分に認識されています。より新しく、より優れたモデルがそれを行う頻度が低くなるため、彼らが幻覚を起こしたときに、それに気付かなかったり、事実を確認できなかったりするリスクが高くなります.

警戒を怠らないでください、友よ。しかし、これらは非常にエキサイティングな時期でもあります。

PS 事 #5: GPT-4 を使用する場合は、ChatGPT Plus または API を介して行うことができます。 API の待機リストがありますが、アクセスできるようになるまでに 2 日しかかかりませんでした。 API に関する注意点の 1 つは、GPT-4 は ChatCompletion 関数 (gpt-3.5-turbo と同じ) を介してアクセスできることです。text-davinci-003 または他の以前のモデルで使用した可能性のある Completion 関数ではありません。この 2 つの違いについては、後で詳しく説明します。