Uuden tekoälyn vallankumous sekä energiankulutuksen uusi aika

Generatiivisen tekoälyn historiaa

Tekoälyn sanotaan saaneen sille ansaitun varsinaisen alkunsa Darthmouth:in yliopistosta vuonna 1956 Alan Turingin sekä hänen kollegoidensa tutkimustyön myötä [1]. Viimeisen parin vuoden aikana tekoäly on kuitenkin ottanut huomattavan harppauksen generatiivisessa tekoälyssä uusien menetelmien, suurien tietomäärien sekä laskentatehon nousun myötä. Tästä tällä hetkellä puhutuin esimerkki on ollut OpenAI:n 2022 julkaisema ChatGPT. ChatGPT on LLM (large language model) -teknologiaan perustuva tekstin generointiin erikoistunut keskustelubotti [2].

ChatGPT:n keskustelubottistatus ei kuulosta erityisen merkittävältä saavutukselta. Keskustelubotteja onkin ollut olemassa jo vuodesta 1967 lähtien, kun Joseph Weizenbaum kehitti ELIZA-keskustelubotin. ELIZA kehitettiin alun perin pyrkimyksenä tutkia tietokoneiden ja ihmisten välistä kommunikaatiota. Toisin kuin uudemmat LLM-kielimallit, ELIZA kehitettiin käyttäen kuviovastaisuuksia sekä korvausmenetelmää. Tästä, sekä ELIZA:n alkuperäisestä tarkoituksesta huolimatta, ELIZA tunnetaan nykyään ensimmäisenä tekoälyyn perustuvana keskustelubottina, jota käytettiin onnistuneesti jopa psykoterapeuttisiin tarkoituksiin ja joka onnistui ensimmäistä kertaa mallintamaan lähes uskottavaa ihmismäistä keskustelua [3].

Lähes 55 vuotta myöhemmin ChatGPT:n tultua julki sekä sen pellin alla työskentelevän uuden ja kehittyneemmän LLM:ään pohjautuvan mallin myötä ei ole vaikeaa kuvitella, kuinka paljon uusia hyödyllisiä käyttötarkoituksia tämä uusi teknologia tuo tullessaan.

Generatiivinen tekoälyn luo uusia mahdollisuuksia mutta ei ole vielä täydellinen

Olin vuoden vaihteessa kahvilla isäni kanssa, kun kaadoin vahingossa tilkan kahvia pöydälle. Tähän isäni vastasi "röslä", joka on tunnettu sanonta Itä-Suomessa ja kuvaa epäjärjestystä, sotkua tai rähjäisyyttä. Sana mainitaan useasti vitsikkäässä mielessä kun joku esimerkiksi vahingossa kaataa juomaa tai ruokaa pöydälle.

Aloimme pohtia sanan alkuperää sekä käytetäänkö sanaa Itä-Suomen ulkopuolella. Pitkän googlailun jälkeen en löytänyt mitää mainintaa termistä tai sen käytöstä. Sain kuitenkin idean kysyä termin alkuperää ChatGPT:ltä ja hämmästyksekseni sain pätevän kuuloisen vastauksen: "röslä on puhekieltä ja sitä käytetään usein Pohjois-Suomen murteissa. Se tarkoittaa käytännössä samaa kuin "roiskela", "roiskale" tai "liinakko". Se voi viitata epäjärjestykseen, sotkuun tai rähjäisyyteen. Tätä sanaa voidaan käyttää esimerkiksi kuvaamaan likaista ja sotkuista tilaa tai esinettä. On huomionarvoista, että sanat ja niiden merkitykset voivat vaihdella alueittain, ja paikallisissa murteissa voi olla omia, aluekohtaisia variaatioita."

Olin yllättynyt, että tuttu ja turvallinen, perinteinen hakukone, johon olin turvautunut vuosia ei pystynyt antamaan minulle vastausta yhtä helposti ja nopeasti toisin kuin ChatGPT joka vastasi kysymykseeni muutamassa sekunnissa. Tämä ei todennäköisesti olisi ollut mahdollista vielä muutama vuosi sitten.

Ajattelin kysyä saman termin alkuperään liittyvän kysymyksen tätä blogia kirjoittaessani vielä uudelleen, johon sain vastauksen: "Valitettavasti tietoni ovat peräisin tammikuusta 2022, eikä "röslä" ole minulle tuttu termi. Se voi olla paikallinen slangisana, alueellinen ilmaisu tai mahdollisesti jotain, mikä on tullut käyttöön jälkeenpäin. Suosittelen tarkistamaan viimeisimmät paikalliset sanakirjat, murresanakirjat tai muut ajantasaiset resurssit saadaksesi tarkempaa tietoa siitä, mitä "röslä" voi tarkoittaa."

Tarkennettuani sekä annettuani ChatGPT:lle sen aiemman vastauksen keskustelubotti pahoitteli sekaannusta, sekä vakuutteli, että sen antama edellinen vastaus pitää sen mielestä paikkaansa.

Tekoälypohjaisissa teknologioissa on hyvä ottaa huomioon, että ne eivät ole täydellisiä ja tekevät vielä virheitä eivätkä usein pysty antamaan reaaliaikaista tai päivitettyä tietoa. LLM-kielimallien generoimien vastausten laatu pohjautuu pääosin ainakin vielä niille syötetyn koulutusmateriaalin laadusta. Yksinkertaisesti selitettynä tekstin generointiin perustuvaa tekoälymallia kouluttaessa sille syötetään valtava määrä valittua tekstidataa. Malli oppii generoimaan tuloksia tämän tekstidatan, tarkennuskoulutuksen sekä näistä pohjautuvan sanojen esiintyvyyksien todennäköisyyksien perusteella. Sama toimintaperiaate pätee myös muihin kuin kuvien generoimiseen perustuviin tekoälymalleihin.

Siinä missä nykyiset kehittyneet tekoälyteknologiat voivat olla äärimmäisen hyödyllisiä sekä tarkkoja tietyissä tehtävissä, ovat ne silti vielä kaukana täydellisyydestä. Tämän takia varsinkin ChatGPT:n sekä muiden vastaavien teknologioiden käyttäjän kuuluisi nykyisten kielimallien vastauksien lisäksi pyrkiä varmistamaan annetun informaation todenmukaisuus vielä muista lähteistä.

Tekoälyn murroskohdan toisella puolella

Tekoälyn kehitys on vuosien mittaan kokenut useita innostus- sekä kuivakausia, mutta voidaan sanoa, että generatiivisen tekoälyn kehityksen saavutuksien myötä elämme tällä hetkellä tekoälyn innostuksen aallonharjan huipulla. Innostus uuteen innovaation johtaa luonnollisesti käyttäjämäärien kasvuun sekä suuriin investointeihin. Innostuneisuutta uusiin hyötyihin usein kuitenkin varjostavat uudet haittapuolet, eikä niitä useasti oteta huomioon tarpeeksi vahvasti uusien innovaatioiden alkuvaiheessa. Tämä ei kuitenkaan tarkoita, etteikö olisi järkevää huomata kyseiset ongelmakohdat jo alkuvaiheessa eikä korjata niitä vasta myöhemmin rajoitteiden ja uusien ongelmakohtien myötä tai vasta kun seuraamuuksien peruuttaminen on liian myöhäistä.

Siinä missä mainitsin aiempana tekoälyn ongelmakohtana niiden toistaisen epätäydellisyyden, niin haluan tässä blogissa käsitellä kuitenkin pääasiassa toista merkittävää uutta globaalia ongelmaa joka ei rajoitu pelkästään tekoälyyn vaan kaikkeen teknologiaan; energiankulutusta.

Maailma energiankulutus kasvaa huomattavaa vauhtia, eivätkä energiantuotanto tai maailman luonnonvarat välttämättä pysy loputtomasti perässä. Tämän takia ohjelmistojen energiankulutukseen on kiinnitettävä yhä enemmän huomiota. Vuonna 2022 pelkästään maailman palvelinkeskukset yksinään kuluttivat 460 TWh eli 460 000 000 000 kWh, joka vastasi 2% koko maailman energiankulutuksesta [4].

Generatiivisten tekoälymallien energiankulutus

Generatiivisen tekoälyn energiankulutusta voidaan pääasiassa tarkastella kahden eri tekijän näkökulmasta: mallin koulutukseen sekä kehittämiseen kuluvasta energiasta ja yhden tuotteen (esimerkiksi kuvan tai tekstinpätkän) generoimiseen kuluvasta energiasta.

Jotta tekoälymallilla voisi tehdä jotain, täytyy se ensin kouluttaa siihen. Mallin kouluttaminen on huomattavasti raskaampaa sekä energiaa kuluttavampaa kuin yhden tuotteen generoiminen. Kun malli on kuitenkin saatu koulutettua, kuluu energiaa enää pelkästään uusien tuotteiden generoimiseen. Mallia voidaan kuitenkin parantaa tai kouluttaa lisää, jolloin tietenkin vaaditaan lisää malliin kuluvaa energiaa.

Jos et jo arvannut, niin paljastan, että tämän blogin kuva ei ole kuvaotos jostain uudesta elokuvasta vaan loin sen generatiivisen kuvantuoton avulla. Käytin kuvan generoimiseen avoimen lähdekoodin Stability AI:n kehittämää Stable Diffusion -mallia komennolla ["artificial intelligence" "energy consumption" "carbon footprint" realistic HD HQ computer futuristic harmony screenshot civilization technology scary comforting nature city suburbans skyscraper movie CGI]. Voit kokeilla työkalua ilmaiseksi täältä: https://stablediffusion.fr/xl Yhden kuvan generoimisen sijaan olisin siihen kuluvalla energialla voinut kuitenkin ladata keskimääräistä älypuhelinta omien laskelmieni mukaan noin 24%.

Yksin vuonna 2023 tekoälymallien avulla generoitiin yli 15 miljardia kuvaa, josta Stable Diffusionin malli vastasi noin 80% osuutta. Koska Stable Diffusion on avoimen lähdekoodin malli, ja kuka tahansa voi ladata sen sekä generoida sen avulla kuvia omalla tietokoneellaan, on generoitujen kuvien kokonaismäärää vaikea arvioida. Every Pixel Journal:in artikkelin sekä heidän taustatutkimuksensa mukaan Stable Diffusion -työkalulla olisi kuitenkin generoitu arvioltaan yli 12,59 miljardia kuvaa sen julkaisemisesta vuonna 2022 [5].

Vuonna 2023 Carnegie Mellon yliopiston sekä Hugging Face -tekoäly-yhteisöalustan tekemän tutkimuksen mukaan 1000 kuvan generoimiseen kuluu keskimäärin 2.907 kWh energiaa [6].

Vuonna 2023 Stability AI julkaisi myös, että Stable Diffusion -työkalulle kertyi vajaan kahden kuukauden aikana sen julkaisemisesta jo 10 miljoonaa käyttäjää. Heidän mukaansa vuonna 2022 kuvia generoitiin keskimäärin 2 miljoonaa päivässä ja yhteensä generoitujen kuvien määrä kasvoi 690 miljoonaan vuosi mallin julkaisemisen jälkeen [7]. Tämä ei kuitenkaan täysin vastaa todellista määrää mallin avoimuuden takia, joten todellista määrää on haastavaa arvioida tarkasti, mutta todellisuus on, että se on huomattavasti suurempi, kuten Every Pixel Journalin artikkelistakin tulee julki.

Voimme kuitenkin arvioida suuntaa antavasti mallin energiankulutusta julkaistun virallisen määrän perusteella. Aikaisempien tietojen sekä laskemani mukaan 690 miljoonan kuvan generoimiseen Stable Diffusion mallilla kului 2 005 830 kWh energiaa vuodessa.

Euroopan jäsenmaiden tuottaman datan mukaan keskimääräinen energiankulutus asukasta kohden vuodessa oli noin 1671 kWh. Tämä vastaisi arvioltaan noin 1200 Eurooppalaisen asukkaan vuosittaista energiankulutusta [8].

Jos sama lasketaan suuremman arvioidun todellisen generoitujen kuvien määrän perusteella (12,59 miljardia), vastaa Stable Diffusion:in mallin kuluttama energia pelkästään kuvien generoimiseen sen julkaisemisesta jo 36 599 130 kWh käytettyä energiaa. Toisin sanoen, vuoden 2023 elokuuhun mennessä mallin käyttö kulutti arvion mukaan saman verran energiaa kuin 21 902 Eurooppalaista asukasta vuodessa.

On kuitenkin hyvä ottaa huomioon, että eri käyttötarkoituksiin perustuvat tekoälymallit kuluttavat eri määrän energiaa mallin käyttötarkoituksesta sekä rakenteesta riippuen. Alhallaa oleva kaavio kuvaa eri käyttötarkoitukseen perustuvien tekoälytehtävien hiilijalanjäljen suuruutta toisiinsa nähden. Tästä kaaviosta saamme hyvän yleiskuvan eri tehtäviin pohjautuvien tekoälymallien hiilijalanjäljen sekä tätä kautta energiankulutuksen erojen suuruudesta.

Kuva 1: tekoälytehtävien keskimääräinen hiilijalanjälki 1000 generoitua tulosta kohden logaritmisessa asteikossa [6].

Tekoälymallien kouluttaminen ei myöskään ole ilmaista

Aiemmat laskentatulokset kertovat vain yhden tekoälymallin kuvan generoimiseen kuluvasta energiankulutuksesta. Eri malleja sekä niiden käyttötarkoituksia on useita, ja kuten aiemmasta tiedosta on tullut julki, tekoälyn käyttömäärä on edelleen huomattavassa kasvussa. Tekoälyn todellisen globaalin energiankulutuksen arvioimista hankaloittaa myös eri mallien määrä, niiden yksityiskäyttö sekä suurien tekoälyn aallonharjalla ratsastavien yritysten, kuten Metan, Microsoftin sekä OpenAI:n, sulkeutuneisuus tekoälymallien tilastojen julkaisemisesta.

Tuotteiden generoimisen lisäksi mallien kouluttamiseen sekä parantamiseen kuluu huomattava määrä energiaa. Massachusetts Amherst -yliopiston tutkijat arvioivat, että pelkästään Googlen BERT-tekstipohjaisen tekoälymallin yksittäiseen kouluttamiseen kului saman verran energiaa kuin edestakainen lentomatka New York:ista San Franciscoon (yht. 8258km) [9].

Tutkimus tekoälystä sekä sen energiankulutuksesta on kuitenkin vielä yhtä uutta kuin mallit itsessäänkin, eikä tutkimuksia tekoälyn energiankulutuksesta ole vielä tehty riittävästi. Suuntaa antavasti voidaan arvioida, että yksi kuva vie 62 kertaa enemmän tallennustilaa kuin yksi sivu tekstiä [8]. Tämän perusteella voimme vain kuvitella, kuinka paljon enemmän kuvamallin kouluttamiseen kuluu energiaa verraten aiemmin mainittuun tekstipohjaiseen "BERT" kielimalliin puhumattakaan vielä kuvien generointimalleja raskaammista malleista kuten videoiden generointimalleista.

Tekoälyllä on kuitenkin osansa valoisamman tulevaisuuden puolesta

Haluan päättää blogikirjoitukseni kuitenkin kevyempään sävyyn. Olen blogini aikana puhunut pääosin generatiivisesta tekoälystä sekä tutkinut siihen kuluvaa energian määrää hieman negatiivisessa valossa. Vaikka generatiivinen tekoäly on nykyään yksi suurimpia puheenaiheita teknologiassa, on helppoa sivuuttaa tekoälyn suuret hyödylliset mahdollisuudet sekä saavutukset. Hauskojen kissakuvien tai leivontaohjeiden generoimisen lisäksi tekoälyä voidaan käyttää myös yhteiskunnan parantamiseen sekä energian säästämiseen.

Tekoälyratkaisuja voidaan käyttää esimerkiksi älysähköverkkojen rakentamiseen ja parempaan sähkön tarjonnan sekä kysynnän ennustamiseen. Idea älysähköverkoista kehitettiin jo 1800-luvun loppupuolella, mutta tekoälypohjaisia ratkaisuja siihen alettiin suunnittelemaan vasta 1970- sekä 1980-luvuilla [11]. Vattenfallin julkaiseman tiedon perusteella tekoälyn avulla kotitalouksien energiankulutusta pystyttiin parantamaan 20-30 prosenttia sekä lähes puolittamaan langattomien teknologioiden energiankulutus [12].

Lisäksi vuonna 2023 Center for Data Innovationin julkaiseman tutkimuksen mukaan useat edelliset väitteet tekoälyn energiankulutuksesta ovat harhaanjohtavia sekä liioiteltuja [13]. Tämän takia tekoälyn energiankulutukseen liittyvää tutkimusta täytyy tehdä enemmän ja informaatiota täytyy kerätä sekä esittää muodossa, joka vastaa todellisuutta.

Kuva 2: vertailu tekoälyn sekä ihmisen hiilijalanjäljestä eri tehtävässä [13].

Tekoäly on tullut jäädäkseen. Sillä on kiistämättä huomattava osuus tulevaisuuden teknologiakehityksessä sekä ilmastonmuutoksen vastaisessa taistelussa. Tekoälyn osapuoli tulevaisuuden energiapoliitikassa tulee kuitenkin riippumaan täysin siitä kuinka sitä tullaan käyttämään sekä mihin tarkoituksiin sitä tullaan pääasiassa hyödyntämään. Ohjelmistoratkaisuissa tekoälyä saatetaan usein käyttää niin sanotusti "tykillä hyttystä ampumiseen" eli sitä käytetään tapauksissa joissa tekoälyä ei välttämättä olisi tarvittu, ja joissa yksinkertaisella sekä perinteisellä ratkaisulla oltaisiin päästy kannattavampaan tai jopa parempaan lopputulokseen. Tämä ei kuitenkaan tarkoita, etteikö kuitenkaan tekoälypohjaista ratkaisua kannattaisi käyttää joissain vanhoissa tai uusissakin ongelmissa. Kannattavuus pohjautuu täysin tekoälyratkaisun sekä muiden ratkaisujen vertailemiseen sekä tutkimiseen. Joskus optimaalinen ratkaisu suosii vanhoissa perinteissä pysymistä, joskus taas uusien teknologioiden kokeilemista. Vertailemisessa on kannattavaa myös pohtia, tuovatko tekoälyn ominaisuudet riittävästi arvoa pöydälle siihen kuluvaan energiaan sekä hintaan nähden.

Lähteet

1. [1] "Artificial Intelligence (AI) Coined at Dartmouth | Dartmouth," home.dartmouth.edu. https://home.dartmouth.edu/about/artificial-intelligence-ai-coined-dartmouth
2. [2] "Large language model," Wikipedia, Apr. 09, 2023. https://en.wikipedia.org/wiki/Large_language_model
3. [3] J. Weizenbaum, "ELIZA --- a computer program for the study of natural language communication between man and machine," Communications of the ACM, vol. 26, no. 1, pp. 23–28, Jan. 1983, doi: https://doi.org/10.1145/357980.357991.
4. [4] Electricity 2024 - analysis and forecast to 2026 - net, https://iea.blob.core.windows.net/assets/6b2fd954-2017-408e-bf08-952fdd62118a/Electricity2024-Analysisandforecastto2026.pdf
5. [5] A. Valyaeva, "AI Image Statistics: How Much Content Was Created by AI," Everypixel Journal, Aug. 15, 2023. https://journal.everypixel.com/ai-image-statistics
6. [6] A. Luccioni and Y. Jernite, "Power Hungry Processing: Watts Driving the Cost of AI Deployment?" Available: https://arxiv.org/pdf/2311.16863.pdf
7. [7] "Celebrating one year(ish) of Stable Diffusion … and what a year it's been!," Stability AI. https://stability.ai/news/celebrating-one-year-of-stable-diffusion (accessed Mar. 21, 2024).
8. [8] "Electricity and heat statistics," ec.europa.eu. https://ec.europa.eu/eurostat/statistics-explained/index.php?title=Electricity_and_heat_statistics#Consumption_of_electricity_per_capita_in_the_households_sector (accessed Mar. 21, 2024).
9. [9] E. Strubell, A. Ganesh, and A. Mccallum, "Energy and Policy Considerations for Deep Learning in NLP," 2019. Available: https://arxiv.org/pdf/1906.02243.pdf
10. [10] "Which takes up more disk space - images or text?," pc.net. https://pc.net/helpcenter/image_vs_text_files (accessed Mar. 21, 2024).
11. [11] Radware bot manager Captcha, https://iopscience.iop.org/article/10.1088/1755-1315/186/4/012066/pdf (accessed Mar. 21, 2024).
12. [12] "Yes, AI will improve energy efficiency – "Essentially all buildings can benefit from this technology"," Vattenfall. https://group.vattenfall.com/press-and-media/newsroom/2023/yes-ai-will-improve-energy-efficiency--essentially-all-buildings-can-benefit-from-this-technology (accessed Mar. 21, 2024).
13. [13] D. Castro, "Rethinking Concerns About AI's Energy Use," 2024. Accessed: Mar. 21, 2024. [Online]. Available: https://www2.datainnovation.org/2024-ai-energy-use.pdf