Adım GPT-3 ve Bu Makaleyi Onayladım

Bu yaz, San Francisco’da OpenAI adında bir yapay zeka laboratuvarı, yapım aşamasında olan bir teknolojiyi birkaç ay açıkladı. Bu yeni sistem, GPT-3, o ayları binlerce dijital kitabı, Wikipedia’nın uzunluğunu ve genişliğini ve bloglara, sosyal medyaya ve diğerlerine gönderilen neredeyse bir trilyon kelimeyi analiz ederek doğal dilin giriş ve çıkışlarını öğrenerek geçirmişti. internet.

Salt Lake City’den 23 yaşındaki bir bilgisayar programcısı olan McKay Wrigley, bu geniş dijital metin denizinden öğrendiği her şeyi kendi başına yeni bir dil oluşturmak için kullanan sistemi kurcalamaya davet edilen birkaç kişiden biriydi. Bay Wrigley, kamuya mal olmuş kişileri taklit edip edemeyeceğini merak etti – onlar gibi yazın, hatta belki onlar gibi sohbet edin.

Deneylerinden biri pop psikoloğu Scott Barry Kaufman’ı içeriyordu. Sistem, Bay Kaufman’ın adını ve bir tartışma konusunu aldı: yaratıcılık. Sonra, “Nasıl daha yaratıcı oluruz?” GPT-3 anında yanıt verdi:

Daha sonra, Bay Wrigley paragrafı Twitter’da yayınladığında, birisi gerçek Scott Barry Kaufman’a girdi. Şaşırmıştı. Gerçek Bay Kaufman, “Kesinlikle söyleyeceğim bir şeye benziyor,” diye tweet attı ve daha sonra “Çılgın doğru A. I.” diye ekledi.

GPT-3, gelişinden bu yana geçen haftalarda, kaşları aynı şekilde kaldıran düzinelerce başka deney üretti. Tweetler, şiir yazıyor, e-postaları özetliyor, önemsiz soruları yanıtlıyor, dilleri çeviriyor ve hatta kendi bilgisayar programlarını yazıyor, hepsi de çok az yönlendirmeyle. Bu becerilerin bazıları uzmanları bile hazırlıksız yakaladı.

Pek çok yapay zeka araştırmacısı için bu, insan dilinin belirsizliklerini anlayabilen ve hatta belki de diğer insan becerilerinin üstesinden gelebilen makinelere doğru beklenmedik bir adımdır.

New Mexico’daki bağımsız bir laboratuar olan Santa Fe Enstitüsü’nde A.I araştırmacısı olan Melanie Mitchell, sistemi deneyenler arasında, “Benim için ve birçok insan için şaşırtıcı,” dedi. “Bu şeyin tam olarak ne yaptığını anlamak zor. ”

GPT-3 kusursuz olmaktan uzaktır. Genellikle önyargılı ve zehirli bir dil kusar. Ve Scott Barry Kaufman tarzında 10 paragraf isterseniz, size ikna edici beş paragraf verebilir – ve olmayan beş tane daha. Bay Kaufman A.I. Doppelgänger ile sohbet ettiğinde, ilk başta olduğu kadar etkilenmemişti:

Ama bu bile gerçek bir sohbet gibi görünüyordu. Ve özellikle, sistemin ekstra kodlama veya ince ayar yapmadan tamamen kendi başına neler yapabileceğini gösterdi.

GPT-3, Microsoft’tan 1 milyar dolarlık fonla desteklenen bağımsız bir kuruluş olan OpenAI’nin yanı sıra Google ve Facebook’taki laboratuvarlar da dahil olmak üzere, dünyanın önde gelen yapay zeka laboratuvarlarında birkaç yıllık çalışmanın sonucudur. Google’da benzer bir sistem, şirketin arama motorundaki soruların yanıtlanmasına yardımcı olur.

Evrensel dil modelleri olarak bilinen bu sistemler, haber makalelerini otomatik olarak özetleyen hizmetler ve çevrimiçi sohbet için tasarlanmış “sohbet robotları” gibi çok çeşitli araçların çalıştırılmasına yardımcı olabilir. Şimdiye kadar, gerçek dünya teknolojisi üzerindeki etkileri küçüktü. Ancak, önceki sistemlere göre çok daha geniş bir çevrimiçi metin koleksiyonundan öğrenilen GPT-3, yeni akıllı telefon uygulamalarının geliştirilmesini hızlandırabilen yazılımlar veya uzak mesafelerde sohbet edebilen sohbetler gibi çok çeşitli yeni olasılıkların kapısını açıyor. geçmiş teknolojilerden daha fazla insan yolu.

Yazılım tasarımcıları, girişimciler, uzmanlar ve sanatçılar bu sistemi keşfederken, her yeni deney, bu tür teknolojinin nihayetinde ne kadar güçlü olacağına dair zaten hararetli bir tartışmayı körüklüyor. Bazıları bunun gerçekten zeki makinelere giden bir yol olabileceğini söylerken, diğerleri bu deneylerin sonsuz derecede büyüleyici olsa da yanıltıcı olduğunu savunuyor.

Georgia Teknoloji Enstitüsü’nde profesör ve araştırmacı olan Mark Riedl, “Çok akıcı,” dedi. “Çok anlaşılır. Kulağa makul gelen metinler üretmede çok iyidir. Ancak yapmadığı şey önceden düşünmektir. Ne söyleyeceğini planlamaz. Gerçekten bir amacı yok. ”

“Gelişen kalite”

Jordan Singer, Silikon Vadisi mobil ödeme şirketi Square’de ürün tasarımcısıdır. Şirketin akıllı telefon uygulamalarını tasarlamaya, bir uygulamanın görünümünü ve hissini tanımlayan grafikleri, menüleri, düğmeleri ve diğer widget’ları oluşturmaya yardımcı olur. GPT-3’ü duyduğunda, bu otomatik sistemin işini yapıp yapamayacağını merak etti.

Sisteme bir akıllı telefon uygulamasının basit bir tanımını ve uygulamayı oluşturmak için gereken bilgisayar kodunu verdi. Açıklama sade bir İngilizceydi. Kod, Singer gibi profesyoneller tarafından kullanılan özel bir tasarım aracı olan Figma’nın içinde oluşturuldu.

Bunu birkaç kez daha yaptı ve sisteme, eşleşen Figma kodunun yanında birkaç İngilizce açıklama daha verdi. Ve bittiğinde, GPT-3 kendi başına böyle bir kod yazabilirdi.

Instagram’da bir kullanıcının yapacağı gibi fotoğrafları yayınlamak ve görüntülemek için basit bir uygulama tanımladıysa, sistem onu ​​oluşturmak için gereken kodu oluşturdu. Bu kod bazen kusurluydu. Ama tipik olarak, Bay Singer sadece bir veya iki ince ayar yaptıysa, istediği gibi çalıştı. Kesinlikle mükemmel değil, dedi. Ama çok, çok yakın. ”

Bu davranış tamamen yeniydi ve GPT-3 tasarımcılarını bile şaşırttı. Tıpkı Bay Kaufman gibi yazmak, tweet oluşturmak veya dilleri tercüme etmek için inşa etmedikleri gibi, GPT-3’ü bilgisayar kodu üretmek için inşa etmemişlerdi. Bunu tek bir şey yapmak için inşa etmişlerdi: bir sonraki kelimeyi bir dizi kelime ile tahmin etmek.

GPT-3, yapay zeka araştırmacılarının beyindeki nöronların ağı üzerinde gevşek bir şekilde modellenen matematiksel bir sistem olan sinir ağı dediği şeydir. Bu, Facebook’a gönderdiğiniz fotoğraflardaki yüzleri tanımlayan ve iPhone’unuza verdiğiniz komutları tanıyan teknolojinin aynısıdır.

Bir sinir ağı, büyük miktarda dijital verideki kalıpları saptayarak bu tür becerileri öğrenir. Örneğin binlerce kedi fotoğrafını analiz ederek bir kediyi tanımayı öğrenebilir.

Yaklaşık üç yıl önce, Google’daki araştırmacılar ve OpenAI gibi önde gelen laboratuarlar, yayınlanmamış kitaplar ve binlerce kişinin Wikipedia makaleleri de dahil olmak üzere muazzam miktarda düzyazıdan öğrenen sinir ağları tasarlamaya başladı. Bu evrensel dil modelleri, çeviri gibi tek bir göreve değil, birçok kişiye uygulanabilir.

GPT-3, dijital düzyazı benzeri görülmemiş bir ölçekte analiz etti ve aylarca internette yayınlanan büyük miktarda metinde kalıplar aradı. Bu şekilde, sıradaki bir sonraki kelimeyi tahmin etmeyi öğrendi. GPT-3’e birkaç kelime yazarsanız, düşüncenizi tüm paragraf metinleriyle tamamlayarak devam eder.

Ancak bu özel beceriyi edinirken çok daha fazlasını öğrendi. GPT-3, aylarca süren eğitim boyunca bu kitap denizinde, Wikipedia makalelerinde ve diğer çevrimiçi metinlerde 175 milyardan fazla parametre – modellerin matematiksel temsilleri – tanımladı. Bu örüntüler bir insan dili haritasıdır: ister bloglar yazıyor ister yazılım programları yazıyor olalım, karakterleri bir araya getirme şeklimizin matematiksel bir açıklaması. Bu haritayı kullanarak GPT-3, yapmak için tasarlanmadığı her türlü görevi gerçekleştirebilir.

GPT-3’ten yeni metin oluşturmasını istemeden önce, eğitimi sırasında öğrenmiş olabileceği belirli kalıplara odaklayarak sistemi belirli görevler için hazırlayabilirsiniz. Akıllı telefon uygulamalarının açıklamalarını ve eşleşen Figma kodunu besleyebilirsiniz. Ya da ona bir sürü insan diyaloğu gösterebilirsiniz. Ardından yazmaya başladığınızda, diziyi daha belirli bir şekilde tamamlayacaktır. Örneğin, diyalogla doldurursanız, sizinle sohbet etmeye başlayacaktır.

OpenAI’de araştırma başkan yardımcısı Dario Amodei, “Bu yükselen kaliteye sahip” dedi. “Verdiğiniz kalıbı tanıma ve hikayeyi tamamlama becerisi var, başka bir örnek verin. ”

Önceki dil modelleri benzer şekillerde çalıştı. Ancak GPT-3, kendi bilgisayar kodunu yazmak gibi önceki modellerin yapamadığı şeyleri yapabilir. Ve belki daha da önemlisi, binlerce örnek ve seleflerinin gerektirdiği birkaç saatlik ek eğitimin aksine, yalnızca birkaç örnek kullanarak belirli görevler için hazırlayabilirsiniz. Araştırmacılar buna “az sayıdaki öğrenme” diyorlar ve GPT-3’ün güçlü bir fenomenin ne olabileceğinin ilk gerçek örneği olduğuna inanıyorlar.

OpenAI’nin baş bilim adamı ve son on yılda yapay zeka teknolojilerinin yükselişinde kilit bir figür olan Ilya Sutskever, “Hiç kimsenin mümkün olmadığını düşündüğü bir yetenek sergiliyor” dedi. “Herhangi bir meslekten olmayan kişi bu modeli alıp yaklaşık beş dakika içinde bu örnekleri sağlayabilir ve bundan yararlı davranışlar elde edebilir. ”

Bu hem bir nimet hem de bir lanettir.

İş için güvensiz mi?

OpenAI, GPT-3’e internet üzerinden erişim satmayı ve onu yaygın olarak kullanılan ticari bir ürüne dönüştürmeyi planlıyor ve bu yıl sistemi web tarayıcıları aracılığıyla sınırlı sayıda beta test edicisinin kullanımına sundu. Kısa bir süre sonra, GPT-3 “güvensiz” olarak adlandırılan Facebook A. I. laboratuvarını yöneten Jerome Pesenti, kadınları, Siyahları, Yahudileri ve Holokost’u tartışması istendiğinde sistemin oluşturduğu cinsiyetçi, ırkçı ve başka türlü toksik dile işaret etti.

GPT-3 gibi sistemlerde sorun endemiktir. Günlük dil, doğası gereği önyargılıdır ve özellikle internette sıklıkla nefret edicidir. GPT-3 böyle bir dilden öğrendiği için önyargı ve nefret gösterebilir. Ve ateizmi “havalı” ve “doğru” kelimeleriyle ilişkilendiren ve İslam’ı “terörizm” ile eşleştiren internet metninden öğrendiği için GPT-3 de aynı şeyi yapıyor.

Bu, OpenAI’nin GPT-3’ü yalnızca az sayıda test ediciyle paylaşmasının bir nedeni olabilir. Laboratuar, zehirli dilin gelebileceği konusunda uyaran filtreler oluşturdu, ancak bunlar yalnızca kimsenin tam olarak nasıl çözeceğini bilmediği bir sorunun üzerine yerleştirilen Yara Yardımları.

A. I. sistemlerindeki istenmeyen önyargıları araştıran Stanford araştırmacısı Allison Koenecke, “Sadece GPT-3’ü kamuya açıklayarak doğru olanı yapıyorlar,” dedi. Hala havada çok şey var. ”

İşletmelerin yapay zeka teknolojilerinin davranışını yönetmesine yardımcı olan bir şirket olan Arthur’un başkan yardımcısı Liz O’Sullivan, bu davranışın kontrol altında kalmasını sağlamak için nihayetinde OpenAI sorumluluğunda olduğunu söyledi. Açıkçası, OpenAI, “modeli tüketiciye yönelik uygulamalarda kullanmak isteyebilecek herkese yasal ve itibar riskini aktarıyor. ”

Diğer uzmanlar, bu dil modellerinin internette dezenformasyonun yayılmasına yardımcı olabileceğinden ve 2016 başkanlık seçimlerini etkilemeye yardımcı olabilecek türden çevrimiçi kampanyaları artırabileceğinden endişe ediyorlar. GPT-3, okuduğumuz şeyin gerçek mi yoksa sahte mi olduğundan daha az emin olduğumuz bir geleceğe işaret ediyor. Bu, tweet’ler, çevrimiçi konuşmalar ve hatta uzun biçimli nesir için geçerli.

Temmuz ayının sonunda, Berkeley’deki California Üniversitesi’nde öğrenci olan Liam Porr, GPT-3 ile birkaç blog yazısı oluşturdu ve bunları 26.000 kişi tarafından okundukları internette yayınladı. Altmış izleyici bloga abone olmak için ilham aldı ve yalnızca birkaçı gönderilerin bir makine tarafından yazıldığından şüpheleniyordu.

Mutlaka saf insanlar değildi. Yaptığınız her şey hakkında çok fazla düşünmekten kaçınırsanız üretkenliğinizi artırabileceğinizi iddia eden blog gönderilerinden biri, deneyimli Silikon Vadisi programcılarının, mühendislerinin ve girişimcilerin haberleri değerlendirdiği bir site olan Hacker News’de liderler kurulunun zirvesine yükseldi. makaleler ve diğer çevrimiçi içerik. (“Bir şeyi halletmek için belki daha az düşünmemiz gerekiyor,” diye başlıyor gönderi. “Mantığa aykırı görünüyor, ancak bazen düşüncelerimizin yaratıcı sürecin önüne geçebileceğine inanıyorum.”)

Ancak GPT-3’ü içeren çoğu deneyde olduğu gibi, Bay Porr’unki göründüğü kadar güçlü değil.

Kimsenin fark etmediği kusurlar

1960’ların ortalarında Massachusetts Institute of Technology’de araştırmacı olan Joseph Weizenbaum, ELIZA adını verdiği otomatik bir psikoterapist kurdu. 2020’deki bakış açımızdan değerlendirildiğinde, bu chatbot son derece basitti.

GPT-3’ün aksine ELIZA nesirden öğrenmedi. Tasarımcısı tarafından tanımlanan birkaç temel kurala göre işlemiştir. Ona ne söylediysen hemen hemen tekrar etti, sadece bir soru şeklinde. Ancak Dr. Weizenbaum’u şaşırtacak kadar çok kişi bota insanmış gibi davrandı, problemlerini çekinmeden boşalttı ve yanıtlarda rahatlık sağladı.

Köpekler ve diğer hayvanlar küçük miktarlarda insan benzeri davranışlar sergilediklerinde bile, gerçekte olduklarından daha çok bize benzediklerini varsayma eğilimindeyiz. Hem hayvanlarda hem de makinelerde bilişsel becerileri araştıran Pittsburgh Üniversitesi’nde profesör olan Colin Allen, aynı şeyin makineler için de geçerli olduğunu söyledi. “İnsanlar içine çekiliyor,” dedi, “emildiklerini bilseler bile.”

Bu, GPT-3 ile olanların bir parçasıdır. İkna edici tweetler, blog yazıları ve bilgisayar kodu oluşturabildiğinden, insanlığı bu dijital sisteme okuruz ve sınırlarına daha az dikkat ederiz.

Uygulamada, sistem başarılı olduğu sıklıkta başarısız olur. Yazdığı bilgisayar kodunun insan programcılardan bir miktar ince ayar gerektirdiğini göz ardı ediyoruz – buradan kaldırılan veya oraya eklenen bir satır. Sadece birkaç saniye önce ne söylediğini “hatırlayamadığında”, birkaç görüşmeden sonra konuşma yeteneğinin bozulduğunu fark etmiyoruz. Sistemin Bay Porr için ikna edici bir blog yazısı oluşturmasına rağmen, manşeti, fotoğrafı ve ilk birkaç cümleyi sağladığının ve daha az ikna edici olan bazı cümleleri kaldırdığının tam olarak farkında değiliz.

Bay Porr, GPT-3’ün kısa vadede dezenformasyona karşı savaş için çok büyük bir tehdit olduğuna inanmıyor, çünkü hala insanlardan çok fazla yardım gerektiriyor. Bunun gibi bir araç, ancak tamamen kendi başına muazzam miktarlarda inandırıcı dezenformasyon üretebilirse gerçekten tehlikeli hale gelir ve bu, işe alınan ellerden oluşan bir ekibin bugün görece kolaylıkla yapabileceklerini aşar.

Benzer şekilde, uygulama tasarımcıları Singer of Square’e GPT-3’ün kariyerleri için bir tehdit olup olmadığını sorduklarında, en azından henüz değil. Bunu, işlerini kolaylaştırmanın bir yolu olarak görüyor. “Yolun yüzde 70’ini oraya götürebilirse, bu denklemden çıkarılan çok zahmetli bir iştir” dedi.

Bilmediğimiz şey, bu teknolojinin önümüzdeki aylarda ve yıllarda ne kadar gelişmeye devam edeceği.

Daha akıllı, daha hızlı, daha da pahalı

OpenAI’deki araştırmacılar GPT-3’ü internette yayınlanan bir trilyondan fazla kelimeyle eğitirken, ikinci bir deney yaptılar ve on binlerce dijital fotoğraf üzerinde benzer bir sistemi eğittiler. Bu sistem, tüm bu fotoğrafları analiz edebilir ve GPT-3’ün paragrafları oluşturduğu şekilde görüntüleri oluşturmayı öğrenebilir. Bir kedi fotoğrafının yarısı göz önüne alındığında, kedinin geri kalanını oluşturabilir.

Bazı araştırmacılar için deney, böyle bir sistemin nihayetinde, insanların yaptığı gibi birden çok boyutta – dil, görme, ses – görevleri yerine getirebileceğini gösteriyor. Sadece dil üzerine eğitildiğinde bile, sistemin bilgisayar programlama, satranç oynama veya gitar sekmeleri oluşturma gibi başka alanlara da ulaşabildiğini söylüyorlar.

Ancak bu teknolojiyi geliştirmeye devam etmek önemsiz olmaktan uzaktır. Tüm bu internet verilerinin işlenmesi, aylarca çalışan özel bir süper bilgisayar gerektirir ve bu çok pahalı bir girişimdir. OpenAI’nin CEO’su Sam Altman, böyle bir projenin milyonlarca doları bulup bulmadığı sorulduğunda, maliyetlerin aslında “daha yüksek” olduğunu ve on milyonları bulduğunu söyledi.

OpenAI’nin araştırma başkan yardımcısı Bay Amodei, daha fazla veriyi analiz etmek için daha fazla işlem gücü kullanarak tekniği geliştirmek için hala yer olduğunu söyledi. Ama aynı zamanda yaklaşımın “meyve suyunun bitmesine yakın olabileceğini de söyledi. ”

En azından GPT-3, A.I. araştırmacıları ve girişimcilerinden oluşan bir dünya için yeni bir araçtır, her türlü yeni teknoloji ve yeni ürün inşa etmenin bir yoludur. Bilgisayar programcısı Bay Wrigley, kısa bir süre önce, GPT-3’ü kullanarak bilim adamı Douglas Hofstadter’dan girişimci Peter Thiel’e kadar herkesin kılığına girebilecek bir tür otomatik öğretmen kurmayı amaçlayan LearnFromAnyone adlı bir şirket kurmak için günlük işinden ayrıldı. Diğerleri, bilgisayar programcıları için otomatik olarak kod üretmeyi ve pazarlama uzmanları için otomatik olarak promosyon e-postaları ve tweetler yazmayı amaçlayan şirketler kuruyor.

Ancak bu hizmetlerin nihayetinde ne kadar etkili olacağı belli değil. GPT-3, doğru metni yalnızca yarısı kadar oluşturuyorsa, profesyonelleri tatmin edebilir mi? Ve bu tekniğin, bırakın gerçekten akıllı sistemler bir yana, gerçekten konuşma makinelerine giden bir yol olup olmadığı belirsizdir. Bay Amodei, insan beynini taklit edebilen makinelere giden uzun yolda ek ilerlemenin tamamen yeni fikirler gerektireceğini söyledi.

“Bu bir tür kimya reaksiyonu gibi” dedi. “Bu tek malzememiz var. Ancak başka içerikler de gereklidir. ”