Patru lucruri de știut despre GPT-4

Publicat: 2023-03-18

Marți, 14 martie, OpenAI a lansat cel mai recent model de învățare automată, GPT-4. Deși nu a zguduit imediat lumea în același mod în care a făcut-o ChatGPT, asta se datorează în mare parte faptului că nu a existat o interfață nouă strălucitoare care să o însoțească. Aveți încredere în noi - este încă incredibil de interesant. Iată patru lucruri pe care ar trebui să le știi despre GPT-4 chiar acum.

Cuprins

Lucrul #1: Multimodalitatea nu este încă aici

Înainte de lansare, o mare parte din hype-ul în jurul GPT-4 era despre faptul că acesta este multimodal sau capabil să accepte atât text, cât și imagini ca intrare. În prezent, OpenAI testează această multimodalitate doar cu un singur partener, Be My Eyes. Pentru toți ceilalți, GPT-4 acceptă doar introducerea textului.

Lucrul #2: GPT-4 poate accepta intrări mult mai mari

În absența multimodalității, una dintre cele mai evidente moduri în care GPT-4 diferă de GPT-3.5 este că poate accepta intrări mult mai mari (și produce ieșiri mai mari, dar asta nu va fi util în același mod.)

Numărul maxim de jetoane pe care le puteți folosi simultan cu GPT-3.5 este 4.096. Cu modelul de bază GPT-4, acest maxim se dublează la 8.192 de jetoane și există chiar și un al doilea model GPT-4 care poate gestiona până la 32.768 de jetoane.

Ce înseamnă asta în practică?

Pentru început, înseamnă că pot oferi întregul raport tehnic al lui GPT-4 OpenAI (minus anexele) pe GPT-4 de citit. (Adică peste 5.000 de cuvinte de conținut.) I-am cerut să rezumă raportul și să menționeze orice informație importantă care lipsea.

Iată răspunsul lui GPT-4:

Prompt: Rezumați punctele principale ale acestei lucrări de cercetare. Ce informații importante lipsesc? (urmat de textul integral al Raportului tehnic GPT-4 al OpenAI)

Acest raport tehnic rezumă dezvoltarea GPT-4 de la OpenAI, un model multimodal la scară largă, care acceptă intrări de imagini și text pentru a genera ieșiri de text. GPT-4 demonstrează performanța la nivel uman la diferite repere profesionale și academice, cum ar fi notarea în primii 10% la un examen simulat de barou. Este un model bazat pe transformator, cu performanța îmbunătățită prin procesul de aliniere post-antrenament.

Capacitățile principale ale GPT-4 includ:

1. Prelucrarea intrărilor de imagini și text, cu potențiale aplicații în sistemele de dialog, rezumarea textului și traducerea automată.

2. Obține un punctaj bun la examenele concepute pentru oameni, cu o performanță la un examen simulat de bară în primii 10% dintre cei care susțin testul.

3. Depășirea modelelor lingvistice anterioare și a sistemelor de ultimă generație în comparație cu standardele tradiționale NLP și performanță puternică pe versiunile traduse ale MMLU în 24 din 26 de limbi luate în considerare.

Raportul subliniază, de asemenea, dezvoltarea infrastructurii de învățare profundă și a metodelor de optimizare care se comportă previzibil pe o gamă largă de scale. Acest lucru le-a permis cercetătorilor să facă predicții precise asupra performanței GPT-4 pe baza modelelor mai mici antrenate cu 1/1.000 din calcul.

Cu toate acestea, GPT-4 prezintă câteva limitări, cum ar fi faptul că nu este pe deplin de încredere, are o fereastră de context limitată și nu învăța din experiență. Capacitățile și limitările sale ridică provocări noi în materie de siguranță, cu părtinire, dezinformare, încredere excesivă, confidențialitate și securitate cibernetică printre riscurile identificate.

Raportul se abține de la a discuta în detaliu arhitectura, hardware-ul, calculul de instruire, construcția setului de date sau metodele de instruire ale GPT-4 din cauza preocupărilor concurentei și a implicațiilor de siguranță.

În ansamblu, dezvoltarea GPT-4 marchează progrese semnificative în domeniul AI și demonstrează un potențial considerabil pentru aplicații transformatoare în procesarea limbajului natural, subliniind totodată nevoia de rafinare continuă și atenție la provocările de siguranță.

Lucrarea de cercetare nu dezvăluie detalii specifice despre hardware-ul, arhitectura, construcția setului de date sau metodele de antrenament ale GPT-4. Obținerea de mai multe informații despre aceste aspecte tehnice ar fi utilă pentru cercetătorii care doresc să reproducă sau să se bazeze pe munca lui GPT-4.

Cu GPT-3.5 și modelele anterioare, nu i-ai putea oferi o intrare atât de lungă ca un raport tehnic întreg. Acesta este un progres cu adevărat grozav, deoarece acum puteți oferi modelului mult mai multe informații ca context.

Această capacitate este deosebit de utilă, deoarece modelul nu este conectat la internet. Singura modalitate de a avea informații noi este dacă le furnizați - și acum le puteți furniza mult mai multe.

În schimb, dacă întreb ce este GPT-4 fără a furniza raportul tehnic, iată ce primesc:

Prompt: Ce este GPT-4?

GPT-4 este succesorul ipotetic al OpenAI GPT-3, modelul de limbaj de ultimă generație care a obținut rezultate remarcabile într-o varietate de sarcini de procesare a limbajului natural. GPT-4, deși nu este disponibil în prezent, este de așteptat să îmbunătățească și mai mult capacitățile lui GPT-3, permițând, potențial, generarea și înțelegerea textului de tip uman.

Ca model de limbă, scopul GPT-4 ar fi acela de a genera text asemănător unui om bazat pe contextul intrării furnizate. Pentru a înțelege cum ar putea funcționa, să ne aruncăm în câteva scenarii din viața reală în care ar putea fi utilizată puterea GPT-4.

Să presupunem că ești scriitor ...

…și așa mai departe.

Din câte știe GPT-4, GPT-4 este încă un succesor ipotetic al GPT-3. Ceea ce are sens, pentru că evident că nu ar fi putut fi antrenat pe text dintr-o lume în care GPT-4 exista deja. În tot conținutul pe care modelul l-a văzut, GPT-4 este încă o dezvoltare viitoare.

Ceea ce înseamnă, totuși, este că acum putem obține rezultate mult mai bune de la GPT-4 pe lucruri precum evenimente noi sau subiecte extrem de aprofundate, oferindu-i mult mai multe informații în prompt.

Pe lângă ceea ce permite această îmbunătățire, este și foarte interesant de luat în considerare din punct de vedere al arhitecturii. Pentru a accepta mai multe jetoane, modelul are capacitatea de a reaminti și de a sintetiza informații într-o fereastră mult mai mare. S-a făcut acest lucru pur și simplu prin construirea unui model mai mare, cu mai multe straturi și parametri, sau s-au făcut modificări fundamentale la modul în care procesează și stochează informațiile?

Din păcate, lipsa oricărui răspuns la această întrebare ne duce la al treilea punct.

Lucrul #3: OpenAI nu mai este atât de...deschis...mai

Un lucru fascinant despre GPT-4 nu are absolut nimic de-a face cu abilitățile sale. Din lucrarea de cercetare a OpenAI despre aceasta:

Acest raport se concentrează pe capacitățile, limitările și proprietățile de siguranță ale GPT-4. GPT-4 este un model în stil Transformer pre-antrenat pentru a prezice următorul token dintr-un document, utilizând atât date disponibile public (cum ar fi datele de pe internet), cât și date licențiate de la furnizori terți. Modelul a fost apoi ajustat folosind învățarea prin consolidare din feedback uman (RLHF). Având în vedere atât peisajul competitiv, cât și implicațiile de siguranță ale modelelor la scară mare, cum ar fi GPT-4, acest raport nu conține detalii suplimentare despre arhitectură (inclusiv dimensiunea modelului), hardware, calcul de antrenament, construcția setului de date, metoda de antrenament sau similare.

(sublinierea mea)

Nu există detalii suplimentare despre dimensiunea modelului, setul de date, antrenament... ceva?

Asta nu este deschis. Este, de asemenea, o mare abatere de la cercetarea publică a OpenAI privind GPT-urile anterioare.

De asemenea, merită remarcat cât de divergente sunt cele două motive pentru secret: peisajul competitiv și implicațiile de siguranță ale modelelor la scară largă. „Implicațiile privind siguranța” necesită prudență și prudență, dar un „peisaj competitiv” necesită avânt din plin pentru a învinge pe oricine altcineva.

Într-o notă total fără legătură, alte două progrese majore ale AI au fost lansate în aceeași zi cu GPT-4: modelul Claude de la Anthropic și API-ul PaLM de la Google.

Lucrul #4: AI devine un student vedetă (dar încă minte)

Unul dintre cele mai distribuite grafice de la lansare arată performanța GPT-4 la diferite teste. Este aproape ca și cum OpenAI este încă sub iluzia, împărtășită de liceeni cu rezultate înalte de pretutindeni, că scorurile standardizate ale testelor se corelează într-un fel cu succesul în lumea reală.

Laugh out loud.

Ceea ce merită remarcat, totuși, este că GPT-4 nu a fost instruit în mod special pentru a face niciunul dintre aceste teste. Acesta nu este cazul unui model AI care este antrenat special pentru a juca Go și, în cele din urmă, îl învinge pe cel mai bun jucător uman; mai degrabă, capacitatea sa de a trece aceste teste reprezintă o inteligență mai „emergentă”.

De asemenea, modelele anterioare, cum ar fi GPT-3, nu au fost instruite pentru a face anumite teste, dar, după cum puteți vedea, performanța lui GPT-4 s-a îmbunătățit semnificativ față de GPT-3:

din Raportul tehnic GPT-4 al OpenAI

Dacă nu vă pasă de capacitatea AI de a face teste standardizate și doriți doar să știți cât de bine va face ceea ce doriți, aceasta este încă o veste bună. Din raport:

GPT-4 se îmbunătățește substanțial față de modelele anterioare în capacitatea de a urmări intenția utilizatorului. Pe un set de date de 5.214 solicitări trimise către ChatGPT și API-ul OpenAI, răspunsurile generate de GPT-4 au fost preferate față de răspunsurile generate de GPT-3.5 la 70,2% dintre solicitări.

Deci, GPT-4 este mai probabil să vă ofere ceea ce căutați decât GPT-3.5. Grozav. Este important să rețineți, totuși, că, în ciuda performanței sale îmbunătățite, noul model are în continuare aceleași limitări pe care le cunoaștem și le iubim de la prietenii noștri AI existenți.

Un alt citat din raport:

În ciuda capacităților sale, GPT-4 are limitări similare cu modelele GPT anterioare: nu este pe deplin de încredere (de exemplu, poate suferi de „halucinații”), are o fereastră de context limitată și nu învață din experiență. Trebuie avut grijă atunci când utilizați ieșirile lui GPT-4, în special în contextele în care fiabilitatea este importantă.

De fapt, halucinațiile ar putea deveni o problemă și mai mare decât au fost, pur și simplu pentru că cu cât IA devine mai bună, cu atât va fi mai ușor să crezi ce spune. Cu GPT-3 și GPT-3.5, oamenii sunt conștienți de faptul că modelul va inventa complet lucruri pentru că se întâmplă atât de des. Pe măsură ce modelele mai noi și mai bune fac asta mai rar, există un risc mai mare ca atunci când halucinează , să nu reținem sau să verificăm faptele.

Așa că rămâneți vigilenți, prieteni. Dar, de asemenea, acestea sunt vremuri foarte interesante.


PS 5: Dacă doriți să utilizați GPT-4, o puteți face fie prin ChatGPT Plus, fie prin API. Există o listă de așteptare pentru API, dar mi-a luat doar două zile să obțin acces. Un înștiințare cu privire la API este că GPT-4 este accesibil prin funcția ChatCompletion (la fel ca gpt-3.5-turbo), nu prin funcția de completare pe care este posibil să o fi folosit-o cu text-davinci-003 sau alte modele anterioare. Mai multe despre diferențele dintre cei doi mai târziu.