Kratka zgodovina pameti (ChatGPT)

Večina ljudi danes umetno inteligenco (UI ali v originalu AI) malo pomeša z OpenAI, Samom Altmanom, Elonom Muskom, zafrkancijo z nemogočimi vprašanji, strahom pred izgubo delovnih mest, nejevero ali vero, oblikovanjem prihodnosti itd.

Le malo ljudi pa ve, da je OpenAI danes podjetje in neprofitna organizacija obenem, vredna okoli 30 milijard dolarjev, da je v podjetju zaposlenih okoli 500 ljudi in da njegovi začetki segajo, lahko bi rekli, v že davno leto 2015.

Le malo ljudi ve, da Sam Altman nima deleža ali delnic podjetja/organizcije Open AI, saj je prepričan, da se bo ekonomija po »velikem poku« tako spremenila, da bodo koncepti o delnicah, denarju, lastništvu v trenutku postali nepomembna preteklost.

Kar veliko ljudi zmotno »ve«, da je OpenAI Muskov projekt. Ni. Elon Musk je v OpenAI sicer prvi vložil znatna sredstva za razvoj (100 milijonov dolarjev), pozneje, leta 2018, ko mu ni uspel popoln prevzem organizacije, pa je projekt zapustil in denar zahteval nazaj (in ga tudi dobil). Ob tej informaciji postane jasno, zakaj si je spomladi prizadeval za polletno zamrznitev razvoja UI (češ, da je treba dobro premisliti, kako in kaj), ko je poskušal sam dohiteti Altmana in OpenAI.

Zelo malo ljudi tudi ve, da je Sam Altman, šef OpenAI, večji del letošnjega leta preživel na svetovni turneji po 25 svetovnih mestih, med katero se je srečeval z glavnimi političnimi voditelji, predsedniki vlad in držav ter vplivnimi tehnološkimi, pravnimi in medijskimi think-thanki in potrpežljivo razlagal, kaj v OpenAI pravzaprav počnejo. Za razliko od na primer Marka Zuckerberga, ki se je moral pred senatorji v ZDA in politiki v Evropi zagovarjati, ko je postal njegov vpliv na svet prevelik, so se pri OpenAI odločili, da se bodo s politiki pogovorili vnaprej in se s tem poskušali zavarovati pred neprijetnostmi in morebitnimi prepovedmi v prihodnje.

Malo ljudi se tudi zaveda, da šef OpenAI ni programer ali razvijalec, ampak CEO, šef podjetja, predvsem pa sanjač, voditelj, pri 38-ih letih mlajša verzija Elona Muska.

Kaj pa vemo? (Oziroma mislimo, da vemo)

Ne bomo več o tem, česa vsega ne vemo, poglejmo, kaj vemo, oziroma mislimo, da vemo.

ChatGPT in ChatGPT-4 sta le vmesni stopnji na poti h končnemu cilju, preprostemu, a prelomnemu dosežku: izgradnji umetne splošne inteligence (AGI – artificial general intelligence). Konceptu, ki ga poznamo iz znanstvene fantastike, pri čemer naj bi bila AGI varna za človeštvo.

Kdo je Sam Altman?

V osemdesetih in devetdesetih letih prejšnjega stoletja je odraščal ob spremljanju znanstvene fantastike in Vojne zvezd. Navduševal se je nad serijami, v katerih so ljudje sobivali ali se borili z računalniki in drugimi napravami umetne inteligence. Pri osmih letih so mu starši kupili Macintosh LC II, sam pa je začel razmišljati, kako bodo računalniki nekoč začeli samostojno razmišljati. Leta 2003 je začel študirati na Stanfordu in se posvečati umetni inteligenci. Ker pravega napredka tam ni bilo, je opustil študij in vstopil v svet start-upov. Ustanovil je podjetje Loopt in se pridružil Y Combinatorju, danes enem od najbolj slavnih tehnoloških inkubatorjev. Leta 2014 je prevzel vodenje inkubatorja. Bolj kot v polnjenje žepov mladih ustanoviteljev mladih tehnoloških podjetij je verjel v razvoj resnih inovacij, takšnih, ki bodo resnično spremenile svet in pomagale človeštvu pri reševanju najtežjih problemov, tistih problemov, ki jih človek z obstoječim znanjem in razvitostjo ne zna.

Otroške sanje so se začele ob hitrem razvoju zmogljivosti računalnikov uresničevati. Preden je ustanovil OpenAI, je razmišljal o kandidaturi za guvernerja Kalifornije, potem pa je ugotovil, da je poklican za veliko večjo stvar, za vodenje organizacije, ki bo spremenila svet. In to na odgovoren način. Leta 2015 je ustanovil neprofitno organizacijo OpenAI, podprl ga je Elon Musk in nekateri drugi investitorji. Skrbno se je lotil iskanja sodelavcev (večina poznavalcev UI je takrat delala pri Googlu) in zaposloval le tiste, ki so resnično verjeli v AGI (takrat je bilo to še nekoliko nespodobno). Pridružili so se mu ključni sodelavci – Greg Brockman, Andrej Karpathy, Ilya Sutskever in nekateri drugi.

December 2015

OpenAI je začel uradno delovati decembra 2015. Na začetku sta projekt predstavljala Altman in Musk skupaj. Verjela in govorila sta o odprtem sistemu, v katerem bi lahko sodelovali vsi in skupaj skbeli za »varno in dostopno« umetno inteligenco. Pri OpenAI v tistem času niso nameravali patentirati ali kako drugače zavarovati rezultatov dela, obenem pa so se zavedali, da »rezultatov še dolgo ne bo, OpenAI pa bo deloval kot raziskovalni laboratorij«. (Altman, 2015).

Začetki razvoja algoritmov niso bili preprosti. Precej časa se je ekipa 25 razvijalcev izgubljala v različnih modelih in poteh, ki niso prinašale rezultatov. Leta 2016 se je skupini pridružil takrat 23-letni Alec Radford. Preko nevronskih mrež je začel eksperimentirati z jezikovnimi modeli in rešitev iskal v obdelavi dveh milijard zapisov na Redditu. Čeprav ni naredil posebnega napredka, je bilo njegovo delo veliko bolj obetavno od takrat, danes, primitivnih botov ali popularnih asistentov Alexa in Siri.

V naslednjem poskusu se je lotil ocen uporabnikov Amazona. Analiziral in obdelal je okoli 100 milijonov ocen in ustvaril jezikovni model, ki je napovedal vsako novo črko posamezne ocene.

Transformer

Leta 2017 je več raziskovalcev (večina iz Googla) objavila raziskavo Attention Is All You Need, dokument, ki so ga pozneje poimenovali v The Transformer in je prinesel nova razmišljanja o jezikovnih modelih. Pri OpenAI so jim izsledki pomagali do popolnoma novega razmišljanja o algoritmih in načinu dela, ki je postalo bolj inženirsko, programsko. Zasnovali so GPT-1, »generatively pretrained transformer« oz. generični prednaučeni preoblikovalec. Osnovo je predstavljal tekst 7.000 neobjavljenih knjig (romanov, fantastike in pustolovskih knjig) v kombinaciji s srednješolskimi in visokošolskimi učbeniki. Model je vključeval 117 milijonov parametrov oz. spremenljivk. Rezultati so bili boljši od vseh do takrat znanih jezikovnih modelov in odgovorov.

Kmalu so se lotili GPT-2 in vanj vključili 1,5 milijarde spremenljivk. Rezultati so bili še veliko boljši od GPT-1, zato so pri OpenAI že začeli razmišljati, da bi ga predstavili javnosti oz. »predali v divjino«. Zaradi strahu pred »spamovci« in zlorabami na splošno so potegnili ročno zavoro in nadaljevali z razvojem. Na začetku leta 2018 so pomemben napredek dosegli z velikimi jezikovnimi modeli (LLM). Elon Musk ni bil zadovoljen. Ocenil je, da je napredek premajhen in zahteval, da vodenje OpenAI prevzame sam, organizacija pa naj postane podjetje, v katerem bi imel sm večinski delež. Altman in ostali ključni sodelavci so se temu uprli, saj niso želeli postati del »muskversa«, torej Muskovega vesolja. Musk je odstopil iz upravnega odbora in napovedal, da bo OpenAI propadel. Zahteval je tudi povrnitev vložka (100 milijonov dolarjev), tako da je financiranje projekta (plače, prostori ipd.) prevzel manjšinski vlagatelj Reid Hoffman.

OpenAI je potreboval vse več denarja, ki bi ga na trgu tveganega kapitala zagotovo hitro dobil, če ne bi vztrajal pri neprofitnem statusu. Na začetku leta 2019 so zato iznašli novo formulo delovanja. OpenAI bo še naprej neprofitna organizacija s profitno bazo. Kar koli naj bi že to pomenilo.

Vlagatelji so lahko investirali denar v podjetje, ki pa ves denar nad določenim zneskom prihodkov (številka je skrivnost) vlaga v neprofitni del organizacije. Ključni ljudje OpenAI poudarjajo, da jim gre za poslanstvo in ne denar, saj ne želijo delati pod stalnimi pritiski investitorjev, ki zahtevajo četrtletna poročila in prihodke. Pravijo, da »tako ali tako ni jasno, kakšno vlogo bo denar sploh imel v postAGI dobi«. Pri čemer mislijo popolnoma resno. V primeru, da jim uspe ustvariti AGI, imajo po statutu družbe pravico do popolnoma novega odnosa med investitorji in deležniki (ustanovitveni akti). Pri tem pa ni popolnoma jasno, kaj sploh je AGI. Pri OpenAI tega ne vedo, ali pa tega vsaj ne želijo povedati na glas? Kdo ga bo oznanil? Bo ključen »Turingov test«? Kako bo mogoče prepoznati to »superinteligenco«?

Naložbe

Kakor koli, denar je začel pritekati iz znanih virov; Khosla Ventures, Thrive Capital, Founders Found, Sequoia Capital in drugi skladi so bili, ne glede na poseben status OpenAI, pripravljeni investirati nekaj sto milijonov dolarjev. Deleže so dobili tudi ključni zaposleni, ne pa tudi Sam Altman, ki se mu lastništvo ne zdi pomembno.

Če so pri GPT-2 obdelali 1,5 milijarde spremenljivk so za naslednji korak, GPT-3, potrebovali računalnike za obdelavo 175 milijard spremenljivk. Kdo sploh ima takšne zmogljivosti? Microsoft. Velikan, ki je po dvajsetih letih in milijardah dolarjev, namenjenih UI, spoznal, da jih je v vsega nekaj letih prehitel palček po imenu OpenAI. Najprej so OpenAI nakazali milijardo dolarjev in jim dali na voljo najnovejšo tehnologijo, kmalu zatem pa je sledilo novo nakazilo, kar 13 milijard dolarjev. S tem vložkom so postali 49-odstotni lastniki »profitnega« dela OpenAI. Pa tudi izključne pravice do uporabe tehnologije (v Bingu, v kratkem pa tudi v vseh poslovnih orodjih), ki je hitro presegla pričakovanja Satye Nadella, šefa Microsofta.

November 2022

Pred novembrom 2022 je le malo ljudi vedelo za OpenAI ali ChatGPT. Različica, ki so jo poslali na trg, je imela interno oznako ChatGPT-3.5. Kot je pojasnil Altman, so se za njeno uvedbo odločili, ker so želeli javnost »počasi pripraviti« na tisto pravo različico. Različico 4.0, ki ljudem ni omogočila le lahkotnega »klepetanja«, ampak program, s pomočjo katerega se je dalo napisati odlično ocenjene eseje, programe, tudi knjige. ChatGPT je postal najhitreje razširjeni program v zgodovini programiranja. V nekaj mesecih je imel sto milijonov uporabnikov.

Vse ostalo je zgodovina, bi lahko rekli, pri čemer so pri OpenAI bolj aktivni kot kadar koli prej. Mediji, politiki in dušebrižniki na splošno so enako kot pri vsaki veliki revoluciji dvignili glasove in se začeli upirati: kaj pa delovna mesta, kaj pa avtorske pravice, kaj pa zakoni, kaj pa človeštvo? Zdi se, da so se pri OpenAI na ovire pripravili bolje kot pred njimi na primer Mark Zuckerberg. Najemajo vrhunske lobiste, strokovnjake za odnose z javnostmi in pravnike na področju avtorskih pravic in podobno ter prepričujejo javnost: ne bojte se nas, delamo nekaj, kar bo zmoglo reševati človeške probleme bolje od človeka.

Bo takšen že ChatGPT-5?