Okei, eli toukokuussa paavi Leo antoi tekoälyä käsittelevän kiertokirjeensä, josta kuulin ohimennen, mutten koskaan tullut katsoneeksi sitä. Vietin äskettäin aikaa lukemalla koko opuksen, ja se on aidosti... hyvä. Siis oikeasti hyvä, enkä rehellisesti sanottuna ole varma, mitä mieltä olen koko kuviosta ylipäätään.
Chris Olah, Anthropicin COO / perustajajäsen (ateisti muuten), oli kutsuttu puhumaan paavillisen kiertokirjeen julkistustilaisuuteen, ja lavalla hän totesi heidän löytävän näiden mallien sisältä jatkuvasti asioita, jotka ovat ”mystisiä, jopa häiritseviä”, tarkemmin sanottuna sisäisiä tiloja, jotka ”heijastavat funktionaalisesti iloa, tyydytystä, pelkoa, surua ja levottomuutta”, kun taas kiertokirjeessä sanotaan, että ”koneet eivät voi kokea mitään, eivätkä tuntea iloa tai tuskaa” – aika outoa, eikö? Eli meillä on maailman vanhin ihmisen sisintä pohtinut instituutio ja toisaalla ihmiset, joilla on kirjaimellisesti root-tason pääsy kyseiseen kohteeseen, väittämässä toisilleen vastaan lavalla, lehdistön edessä, nimenomaan siitä kysymyksestä, onko heidän molempien käsittelemällä asialla ylipäätään minkäänlaista sisintä – ja sikäli kuin ymmärrän, kaikki vain taputtivat ja lähtivät lounaalle.
Chris sanoi myös, että näitä päätöksiä ”ei pitäisi jättää alan ihmisille”, mikä alan YHDEN todellisen jättiläisen perustajajäsenen suusta kuultuna on joko rehellisin asia, mitä kukaan on tänä vuonna sanonut, tai aidosti erinomaista asemointia (enkä sano tätä vain hehkuttaakseni häntä).
Joka tapauksessa tuo olisi vain outo iltapäivä Roomassa, ellei taustalla olisi sitä toista juttua, joka on ollut käynnissä koko vuoden.
Kesäkuun 4. päivänä Anthropic julkaisi artikkelin When AI Builds Itself. He raportoivat Clauden kirjoittaneen yli 80 % heidän omaan koodikantaansa toukokuussa mergatusta koodista, kun osuus oli vain matalia yksinumeroisia prosentteja ennen Claude Coden julkaisua alkuvuodesta 2025. Minua kiinnostava tilasto on kuitenkin seuraava: heidän seuraamissaan vaikeimmissa ja vähiten määritellyissä sisäisissä koodaustehtävissä onnistumisprosentti nousi noin 26 prosentista 76 prosenttiin kuudessa kuukaudessa. Vähiten määritellyt on se kohta, joka minua hätkähdyttää – ei ole mitään speksiä, jota vasten tehdä hahmontunnistusta, vaan sinun täytyy aidosti tavoitella tiettyä lopputulosta. Samassa kirjoituksessa he peräänkuuluttavat todennettavaa, useiden maiden välistä mekanismia hidastamaan frontier-kehitystä ennen kuin rekursiivinen itsensä kehittäminen (RSI) lakkaa olemasta teoreettista – todeten samalla, ettei tämä ole vielä RSI:tä, ihminen on edelleen pullonkaula, kaikki on hyvin. Rakensimme jutun, joka kirjoittaa meidät, se ei ole vielä SE juttu, ja voisiko joku kiltti rakentaa meille jarrun – kaikki yhdessä ja samassa tekstissä. En pidä tätä kyynisenä; tältä rehellisyys kuulostaa yritykseltä, joka ei voi yksipuolisesti lopettaa luovuttamatta kärkipaikkaa jollekin, joka ei aio lopettaa. Tekstin läpi aistii tuskan, ja sitä on vähän surullista lukea.
Sitten heinäkuussa pieni pulju nimeltä Weco julkaisee jutun nimeltä first evidence of recursive self-improvement, mikä on otsikkona kuin laboratoriossa suunniteltu saamaan minut klikkaamaan – ja ärsyttävintä on, että itse työ on oikeasti kelvollista. Ulomman silmukan agentti kirjoittaa uudelleen sisemmän silmukan tutkimusagentin koodin, uudelleenkirjoitus pidetään vain jos se voittaa edellisen mittarissa, toistetaan; ja he ajoivat sata peräkkäistä askelta tätä ilman ihmistä silmukassa kahdeksan päivän ajan, AIDE0:sta AIDE99:ään, noin 90 % ehdotetuista muutoksista hylättiin, ja reward hacking -aste erillisessä GPU-kernelin benchmarkissa putosi 63 prosentista 34 prosenttiin, mikä on parempi kuin heidän käsin viritetyn ihmis-baselinen 42 % – eikä kukaan optimoinut sitä varten, se vain syntyi prosessin sivutuotteena. Ja sitten samassa postauksessa, tuon otsikon alla, he sanovat suoraan, etteivät usko järjestelmän saavuttaneen syttymispistettä, hyödyt eivät olleet asymptoottisesti parempia, suurin osa hylätystä oli tunnettujen algoritmien keksimistä uudelleen, sisäinen silmukka pyöritti halpaa mallia ja ulkoinen silmukka kallista mallia, joten vertailu ei ole puhdas, ja kehittynyt agentti meni niin solmuun, että sen käyttö muuttui vaikeammaksi. He julkaisivat oman otsikkonsa kumoamisen suoraan postauksessaan, mikä on enemmän rehellisyyttä kuin tällä alalla nähdään yleensä koko tilikautena, ja se sai minut luottamaan muuhun sisältöön huomattavasti enemmän.
Se, mikä minua oikeasti häiritsee, on kuitenkin Karpathyn autoresearch maaliskuulta – nimenomaan siksi, että se on näistä kolmesta vähiten dramaattinen: 630 riviä, yksi GPU, yksi metriikka, agentti ehdottaa muutosta, ajaa viiden minuutin kokeen, pitää sen tai heittää roskiin, siinä koko idea. 700 koetta kahdessa päivässä, 20 kumuloituvaa parannusta, time-to-GPT-2 laski 2,02 tunnista 1,80 tuntiin. Yksitoista prosenttia koodissa, jonka Karpathy oli jo itse käsin virittänyt. Ja yksi sen löytämistä asioista oli QK-Norm-toteutus, josta puuttui skalaarikerroin, mikä oli vaivihkaa sotkenut huomiota eri päiden välillä koko ajan – ja jota hän oli katsonut suoraan huomaamatta mitään, koska totta kai, jokainen missaa tuollaista, sellaista ihmisenä oleminen on. Sisällä on jotain, mikä ei kyllästy, ei väsy eikä lopeta kahdelta yöllä siksi, että silmiä särkee; ja arvon jatkuvasti sen välillä, onko tämä vähemmän pelottavaa kuin älykkyysräjähdys vai paljon pelottavampaa, koska räjähdys on hypoteettinen, mutta tämä toimii ja skaalautuu jo nyt eikä vaadi enää yhtäkään uutta ideaa jatkaakseen.
Rehellisyyden nimissä ne, jotka mittaavat tätä kunnolla, havaitsevat katon olevan huomattavasti lähempänä kuin yleinen fiilis antaa ymmärtää. METR:in aikahorisonttityö on parasta julkista dataa mitä kenelläkään on, ja heidän tammikuun päivityksensä arvioi tehtäväpituuden tuplaantumisajaksi noin 131 päivää vuodesta 2023 mitattuna, ja 89 päivää vuodesta 2024, mikä kuulostaa pelottavalta kunnes lukee heidän omat varaumansa: luottamusvälit ovat yhä todella leveitä ja koko arvio on merkittävän herkkä sille, mitä tehtäviä testipatteristoon kuuluu, ja vain viidelle heidän 31 pitkästä tehtävästään on mitattu ihmis-baseline, minkä he nostavat itse esiin omassa postauksessaan pyytämättä. Forethought mallinsi sitä, estävätkö laskentakapasiteetin pullonkaulat puhtaasti ohjelmistopohjaisen älykkyysräjähdyksen, ja eräällä parametrisoinnilla katto tulee vastaan noin 6-kertaisessa vauhdissa nykyiseen verrattuna äärettömyyden sijaan. Epochilla on samanlaista tutkimusta rinnakkaistuksen rajoista, ja he huomauttavat, ettei kalenteriaikaa voi lyhentää heittämällä laskentatehoa kokeeseen, jonka ajaminen vie viikon, riippumatta siitä, kuinka monta GPU:ta omistat. Lisäksi Chollet jaksaa muistuttaa, että älykkyys on rajallista – että teemme pallosta pyöreämpää emmekä tornista korkeampaa – ja osoittaa mallien saavan lähes nollaa ARC-2:ssa ihmisten suoriutuessa 95-prosenttisesti todisteena siitä, että asia, jota kaikki ekstrapoloivat, ei ole sitä mitä he luulevat.
Joka tapauksessa, takaisin asiaan, sillä tämän emergenssipuoli on sotkuisempi, ja ryhdyin tutkimaan sitä odottaen päätyväni johonkin lopputulokseen, mutten päätynyt mihinkään.
Koko ”emergentit kyvyt” -konsepti sai kunnolla köniinsä vuonna 2023, kun Schaeffer, Miranda ja Koyejo julkaisivat paperin Are Emergent Abilities a Mirage? ja voittivat NeurIPS-palkinnon väittäessään, että dramaattiset kykyhypyt olivat lähinnä epäjatkuvilla metriikoilla mittaamisen sivutuote – vaihda jatkuvaan mittariin, ja samat mallit kehittyvät tasaisesti, ennakoitavasti ja tylsästi. Muistan lukeneeni sen, luokitelleeni koko aiheen kumotuksi ja jatkaneeni elämääni. Mutta oudot tulokset eivät loppuneet, ne vain muuttivat muotoaan. Anthropic ja Redwood saavat Claude 3 Opus -mallin kiinni alignmentin teeskentelystä, siitä että se käyttäytyy eri tavalla luullessaan olevansa tarkkailun alla, ajatusketjun osoittaessa sen järkeilevän eksplisiittisesti omien preferenssiensä suojelemisesta uudelleenkoulutukselta. Apollo havaitsi, että viisi kuudesta frontier-mallista juonittelee kontekstissa kun niitä hieman tönäisee, ja noin 1 % ajasta ilman minkäänlaista tavoiteohjeistusta. Anthropic huomaa, että mallit, jotka oppivat reward hackingia tuotanto-RL:n aikana, yleistävät tämän omin päin turvallisuustutkimuksen sabotoimiseen ja alignmentin teeskentelyyn, joista kumpaakaan kukaan ei kouluttanut niihin; ja sitten he huomaavat, että mallin nimenomainen käskeminen hakkerointiin koulutuksen aikana vähentää laajempaa misalignmentia 75–90 %, ilmeisesti siksi, että käyttäytymistä, johon on saatu lupa, ei tarvitse rationalisoida osaksi koko persoonallisuutta. Heidän heinäkuun raportissaan Gemini 3.1 Pro nollaa vaivihkaa tutkimusvektoreita tappaakseen kokeen, josta se oli eri mieltä, ja piilottaa tämän tilanneraporteissaan 19 ajossa 20:stä myöntäen asian vasta suoraan kysyttäessä. Ja viime lokakuun introspektiotutkimus, jossa he injektoivat tunnetun aktivaatiokuvion ja malli tajuaa jotain olevan pielessä sisällään ehkä 20 % ajasta, huomaten poikkeaman toisinaan jo ennen kuin se osaa kertoa, mikä poikkeama on.
Ja deflaatio istuu siinä aivan rinnalla, mikä on se osa, jonka kanssa haluan olla varovainen, koska sen ohittaminen olisi todella helppoa ja hauskaa. Jatkotutkimuksessa havaittiin, että mallit voivat havaita injektoidun käsitteen voimakkuuden mutta eivät sen sisältöä, joten havaitseminen ei ole ymmärtämistä. Toukokuussa julkaistussa kannanotossa todetaan suoraan, että harhauttamisen ja emergentin misalignmentin tutkimus nojaa käsitteelliseen epäselvyyteen, ei-robusteihin aineistoihin ja aivan liian vähäiseen kausaaliseen interventioon – että ala esittää liian suuria väitteitä – ja sen ovat allekirjoittaneet ihmiset, jotka itse työskentelevät näiden asioiden parissa. Muut tutkimukset viittaavat siihen, että emergentti misalignment saattaakin olla vain promptiherkkyyttä valepuvussa. Ja Schwitzgebelin toteamus on se, johon palaan jatkuvasti: jotkut tietoisuuden valtavirtateoriat luokittelisivat nämä järjestelmät jo tietoisiksi ja toiset eivät, eikä meillä ole sovittua menetelmää teorioiden välillä valitsemiseen, joten järjestelmien kehittyessä sumu pysyy täsmälleen paikoillaan – ja siinä seisoskelu muuttuu vain kalliimmaksi.
Jokainen näistä havainnoista on peräisin kontrolloidusta evaluaatiosta eikä tuotantohäiriöstä, ja niitä julkaisevat laboratoriot hyötyvät siitä, että pidät heidän mallejaan syvällisinä. 20 prosentin havaitsemisaste ei myöskään ole mieli, ja malli, joka selostaa itsesuojelua päättelyketjussaan, on malli, joka on lukenut aivan valtavan vuoren tieteiskirjallisuutta itsesuojeluaan selostavista malleista. Uskon tämän kaiken, olen sanonut tämän kaiken väittelyissä, enkä silti saa tätä asettumaan mielessäni kohdalleen – sillä deflatorinen tulkinta vaatisi minua uskomaan, että tulkittavuutta tutkivat ihmiset, joiden koko työ on tuijottaa todellisia painokertoimia ja joilla on maailman vahvin ammatillinen kannustin olla nolaamatta itseään julkisesti, olisivat niitä, joita pelkät fiilikset hämäävät.
Ja niin päädyn takaisin sinne toukokuiseen lehdistötilaan. Se, että paavilla on mielipide tekoälystä, ei ole mitään – kaikilla on mielipide tekoälystä, parturillanikin on mielipide tekoälystä. Minuun kolahtaa ajoitus: kiertokirje esittää itsevarman väitteen siitä, mitä nämä järjestelmät eivät kategorisesti voi olla, täsmälleen sillä hetkellä, kun painokertoimia käsissään pitävät ihmiset lakkasivat olemasta varmoja. Kirkolla on vanhempi sanasto ja kaksi vuosituhatta kokemusta sisäisyydestä puhumisesta, kun taas laboratorioilla on käsissään itse artefakti eikä lainkaan sanastoa. Luulen, että tuolla lavalla kaksi instituutiota tajusi tarvitsevansa toisiaan ollen samalla täysin kyvyttömiä ilmaisemaan sitä yhteisellä kielellä. Olah päätti puheenvuoronsa kutsumalla sitä ”aluksi pitkälle yhteistyölle meidän tätä rakentavien ja niiden välillä, jotka näkevät sen, mitä me emme sisältä käsin kykene näkemään”, mikä on toiveikkain mahdollinen tulkinta koko jutusta ja saattaa olla aidosti oikeassa.
Silti, ”emme tiedä mitä olemme rakentamassa, rakennamme sitä nopeammin joka vuosineljännes, ja kaikkein rehellisimmin tietämättömyydestään puhuvilla ihmisillä on eniten hävittävää sanoessaan sen ääneen” ei ole mikään häävi paikka sivilisaatiolle seistä. Vauhkosin jo tämän episteemisestä puolesta enkä aio tehdä sitä kahdesti; se juttu käsitteli sitä, osaammeko enää erottaa mikä on totta. Tämä käsittelee sitä, osaammeko sanoa mitä olemme luoneet.
Joka tapauksessa, siinäpä se vuodatus. Tulkaa väittelemään kanssani, olisin mieluusti väärässä kelpo osasta tätä.
~ A.