GPT-4 Hakkında Bilmeniz Gereken Dört Şey

Yayınlanan: 2023-03-18

14 Mart Salı günü OpenAI, en yeni makine öğrenimi modeli GPT-4'ü yayınladı. ChatGPT'nin yaptığı gibi dünyayı hemen sarsmamış olsa da, bunun nedeni çoğunlukla onunla uyumlu yeni ve parlak bir arayüz olmamasıydı. Bize güvenin - hala inanılmaz derecede heyecan verici. İşte şu anda GPT-4 hakkında bilmeniz gereken dört şey.

İçindekiler

1. Şey: Multimodalite henüz burada değil

Lansman öncesi, GPT-4'ün çok modlu olması veya hem metin hem de görüntüleri girdi olarak kabul edebilmesiyle ilgili birçok aldatmaca vardı. Şu anda OpenAI, bu çoklu modu yalnızca tek bir ortak olan Be My Eyes ile test ediyor. GPT-4, diğer herkes için hâlâ yalnızca metin girişini kabul etmektedir.

2. Şey: GPT-4 çok daha büyük girişleri kabul edebilir

Çok modluluğun yokluğunda, GPT-4'ün GPT-3.5'ten en belirgin farklılıklarından biri, çok daha büyük girdileri kabul edebilmesidir (ve daha büyük çıktılar üretebilir, ancak bu aynı şekilde yararlı olmayacaktır).

GPT-3.5 ile aynı anda kullanabileceğiniz maksimum jeton sayısı 4.096'dır. GPT-4'ün temel modeliyle bu maksimum değer ikiye katlanarak 8.192 jetona çıkıyor ve hatta 32.768 jetona kadar işleyebilen ikinci bir GPT-4 modeli bile var.

Bu pratikte ne anlama geliyor?

Yeni başlayanlar için bu, GPT-4 OpenAI'nin GPT-4 hakkındaki tüm teknik raporunu (ekler hariç) okuması için verebileceğim anlamına geliyor. (Bu, 5.000 kelimeden fazla içerik demek.) Ondan raporu özetlemesini ve eksik olan önemli bilgileri belirtmesini istedim.

İşte GPT-4'ün yanıtı:

Komut istemi: Bu araştırma makalesinin ana noktalarını özetleyin. Hangi önemli bilgiler eksik? (ardından OpenAI'nin GPT-4 Teknik Raporunun tam metni gelir)

Bu teknik rapor, metin çıktıları oluşturmak için görüntü ve metin girdilerini kabul eden büyük ölçekli, çok modlu bir model olan OpenAI GPT-4'ün gelişimini özetlemektedir. GPT-4, simüle edilmiş bir baro sınavında ilk %10'a girme gibi çeşitli profesyonel ve akademik ölçütlerde insan düzeyinde performans gösterir. Eğitim sonrası hizalama süreci kullanılarak performansı artırılan Transformer tabanlı bir modeldir.

GPT-4'ün birincil yetenekleri şunları içerir:

1. Diyalog sistemlerindeki potansiyel uygulamalar, metin özetleme ve makine çevirisi ile görüntü ve metin girdilerini işleme.

2. Simüle edilmiş bir bar sınavında, teste girenlerin ilk %10'luk diliminde yer alan bir performansla, insanlar için tasarlanmış sınavlarda iyi puan almak.

3. Geleneksel NLP ölçütlerinde önceki dil modellerini ve son teknoloji sistemleri geride bırakmak ve 26 dilden 24'ünde MMLU'nun çevrilmiş sürümlerinde güçlü performans göstermek.

Rapor ayrıca, çeşitli ölçeklerde öngörülebilir şekilde davranan derin öğrenme altyapısının ve optimizasyon yöntemlerinin gelişimini vurgulamaktadır. Bu, araştırmacıların, hesaplamanın 1/1000'i ile eğitilmiş daha küçük modellere dayalı olarak GPT-4'ün performansı hakkında doğru tahminler yapmasını sağladı.

Bununla birlikte, GPT-4, tamamen güvenilir olmama, sınırlı bir bağlam penceresine sahip olma ve deneyimlerden ders almama gibi çeşitli sınırlamalar sergiler. Yetenekleri ve sınırlamaları, tanımlanan riskler arasında önyargı, dezenformasyon, aşırı güven, gizlilik ve siber güvenlik gibi yeni güvenlik sorunları ortaya çıkarır.

Rapor, rekabet endişeleri ve güvenlik etkileri nedeniyle GPT-4'ün mimarisini, donanımını, eğitim hesaplamasını, veri kümesi yapımını veya eğitim yöntemlerini ayrıntılı olarak tartışmaktan kaçınıyor.

Genel olarak, GPT-4'ün gelişimi, AI alanında önemli bir ilerlemeye işaret ediyor ve doğal dil işlemede dönüştürücü uygulamalar için önemli bir potansiyel gösteriyor ve aynı zamanda sürekli iyileştirme ve güvenlik sorunlarına dikkat etme ihtiyacını vurguluyor.

Araştırma makalesi, GPT-4'ün donanımı, mimarisi, veri kümesi yapısı veya eğitim yöntemleri hakkında belirli ayrıntıları açıklamaz. Bu teknik yönler hakkında daha fazla bilgi edinmek, GPT-4'ün çalışmalarını çoğaltmak veya üzerine inşa etmek isteyen araştırmacılar için yararlı olacaktır.

GPT-3.5 ve daha önceki modellerde, ona tam bir teknik rapor kadar uzun bir girdi veremezdiniz. Artık modele bağlam olarak çok daha fazla bilgi sağlayabileceğiniz için bu gerçekten harika bir gelişme.

Model internete bağlı olmadığı için bu özellik özellikle kullanışlıdır. Yeni bilgilere sahip olmasının tek yolu, onu sağlamanızdır - ve artık ona çok daha fazlasını sağlayabilirsiniz.

Buna karşılık, teknik raporu vermeden GPT-4'ün ne olduğunu sorarsam, şunu elde ederim:

Komut istemi: GPT-4 nedir?

GPT-4, OpenAI'nin çeşitli doğal dil işleme görevlerinde dikkate değer sonuçlar elde eden son teknoloji dil modeli GPT-3'ün varsayımsal halefidir. GPT-4'ün, şu anda mevcut olmasa da, GPT-3'ün yeteneklerini daha da geliştirmesi ve potansiyel olarak daha da insan benzeri metin oluşturma ve anlama olanağı sağlaması bekleniyor.

Bir dil modeli olarak GPT-4'ün amacı, sağlanan girdinin bağlamına dayalı olarak insan benzeri metinler oluşturmak olacaktır. Nasıl çalışabileceğini anlamak için, GPT-4'ün gücünün kullanılabileceği bazı gerçek hayat senaryolarına bakalım.

Diyelim ki bir yazarsınız …

…ve benzeri.

GPT-4'ün bildiği kadarıyla, GPT-4 hala GPT-3'ün varsayımsal halefidir. Bu mantıklı çünkü GPT-4'ün zaten var olduğu bir dünyadan gelen metinlerle eğitilmiş olamaz. Modelin gördüğü tüm içerikte, GPT-4 hala gelecekteki bir gelişmedir.

Ancak bunun anlamı, istemde çok daha fazla bilgi sağlayarak yeni etkinlikler veya son derece derinlemesine konular gibi konularda GPT-4'ten çok daha iyi sonuçlar alabileceğimizdir.

Bu iyileştirmenin sağladığı şeylere ek olarak, mimari açıdan da dikkate alınması gerçekten ilginç. Model, daha fazla belirteci kabul etmek için bilgileri çok daha büyük bir pencerede geri çağırabilir ve sentezleyebilir. Bu, basitçe daha fazla katman ve parametre içeren daha büyük bir model oluşturarak mı yapıldı yoksa bilgiyi işleme ve depolama biçiminde temel değişiklikler mi yapıldı?

Ne yazık ki bu sorunun cevabının olmaması bizi üçüncü noktamıza getiriyor.

3. Şey: OpenAI artık o kadar...açık değil...

GPT-4 ile ilgili büyüleyici bir şey, yetenekleriyle kesinlikle hiçbir ilgisi olmamasıdır. OpenAI'nin bu konudaki araştırma makalesinden:

Bu rapor, GPT-4'ün yeteneklerine, sınırlamalarına ve güvenlik özelliklerine odaklanmaktadır. GPT-4, hem halka açık verileri (internet verileri gibi) hem de üçüncü taraf sağlayıcılardan lisanslanan verileri kullanarak bir belgedeki bir sonraki belirteci tahmin etmek için önceden eğitilmiş Transformer tarzı bir modeldir. Model daha sonra İnsan Geri Bildiriminden (RLHF) Takviyeli Öğrenim kullanılarak ince ayar yapıldı. GPT-4 gibi büyük ölçekli modellerin hem rekabet ortamı hem de güvenlik etkileri göz önüne alındığında, bu rapor mimari (model boyutu dahil), donanım, eğitim hesaplaması, veri kümesi oluşturma, eğitim yöntemi veya benzerleri hakkında daha fazla ayrıntı içermez.

(vurgu benim)

Model boyutu, veri seti, eğitim hakkında daha fazla ayrıntı yok… herhangi bir şey?

Bu çılgınca açık değil. Ayrıca, OpenAI'nin daha önceki GPT'ler hakkındaki halka açık araştırmasından da büyük bir sapma.

Ayrıca, gizliliğin bu iki nedeninin ne kadar çelişkili olduğunu belirtmekte fayda var: rekabet ortamı ve büyük ölçekli modellerin güvenlik etkileri. "Güvenlik etkileri" dikkat ve sağduyu gerektirir, ancak "rekabetçi bir manzara" başkalarını yenmek için tam gaz ilerlemeyi gerektirir.

Tamamen alakasız bir kayda göre, GPT-4 ile aynı gün iki büyük yapay zeka geliştirmesi daha yayınlandı: Anthropic'in Claude modeli ve Google'ın PaLM API'si.

4. Şey: AI yıldız bir öğrenci oluyor (ama yine de yalan söylüyor)

Lansmandan en çok paylaşılan grafiklerden biri, GPT-4'ün çeşitli testlerdeki performansını gösteriyor. Sanki OpenAI, her yerde başarılı lise öğrencileri tarafından paylaşılan, standartlaştırılmış test puanlarının bir şekilde gerçek dünya başarısıyla ilişkili olduğu yanılsaması altında.

Yüksek sesle gülmek.

Bununla birlikte, kayda değer olan, GPT-4'ün bu testlerden herhangi birini almak için özel olarak eğitilmediğidir. Bu, Go oynamak için özel olarak eğitilen ve sonunda en iyi insan oyuncuyu yenen bir AI modelinin durumu değildir; bunun yerine, bu testlerde başarılı olma yeteneği, daha "ortaya çıkan" bir zekayı temsil eder.

GPT-3 gibi önceki modeller de belirli testleri geçmek için eğitilmemişti, ancak görebileceğiniz gibi GPT-4'ün performansı GPT-3'e göre önemli ölçüde iyileşmiştir:

AI'nın standartlaştırılmış testler yapma yeteneğini umursamıyorsanız ve sadece istediğinizi ne kadar iyi yapacağını bilmek istiyorsanız, bu yine de iyi bir haber. Rapordan:

GPT-4, kullanıcı amacını takip etme yeteneğinde önceki modellere göre önemli ölçüde gelişmiştir. ChatGPT ve OpenAI API'ye gönderilen 5.214 istemlik bir veri kümesinde, istemlerin %70,2'sinde GPT-3.5 tarafından oluşturulan yanıtlara göre GPT-4 tarafından oluşturulan yanıtlar tercih edildi.

Dolayısıyla, GPT-4'ün aradığınızı vermesi GPT-3.5'ten daha olasıdır. Bu harika. Bununla birlikte, iyileştirilmiş performansına rağmen, yeni modelin mevcut AI arkadaşlarımızdan bildiğimiz ve sevdiğimiz tüm aynı sınırlamalara sahip olduğunu akılda tutmak önemlidir.

Rapordan bir başka alıntı:

Yeteneklerine rağmen, GPT-4'ün daha önceki GPT modelleriyle benzer sınırlamaları vardır: tamamen güvenilir değildir (örneğin 'halüsinasyonlar' görebilir), sınırlı bir bağlam penceresi vardır ve deneyimlerden ders çıkarmaz. Özellikle güvenilirliğin önemli olduğu bağlamlarda GPT-4 çıktılarını kullanırken dikkatli olunmalıdır.

Aslında, halüsinasyonlar olduğundan daha büyük bir sorun haline gelebilir, çünkü yapay zeka ne kadar iyi olursa, söylediklerine inanmak o kadar kolay olacaktır. GPT-3 ve GPT-3.5 ile insanlar, modelin tamamen bir şeyler uyduracağının gayet iyi farkında çünkü bu çok sık oluyor. Daha yeni ve daha iyi modeller bunu daha az sıklıkta yaptığından, halüsinasyon gördüklerinde bunu fark edemememiz veya kontrol edemememiz riski daha yüksektir.

Bu yüzden uyanık olun arkadaşlar. Ama aynı zamanda, bunlar çok heyecan verici zamanlar.

PS Şey #5: GPT-4'ü kullanmak istiyorsanız, bunu ChatGPT Plus veya API aracılığıyla yapabilirsiniz. API için bir bekleme listesi var, ancak erişim sağlamam yalnızca iki günümü aldı. API ile ilgili bir açıklama, GPT-4'e text-davinci-003 veya diğer önceki modellerle kullanmış olabileceğiniz Tamamlama işlevi değil, ChatCompletion işlevi (gpt-3.5-turbo ile aynı) aracılığıyla erişilebilir olmasıdır. Daha sonra bu ikisi arasındaki farklar hakkında daha fazla bilgi.