Kielimalli kykenee tiivistämään sisältöä. Se ei kykene ymmärtämään mitään. Se ei kykene luomaan mitään. Ja se ei kykene ennustamaan mitään.C. Semmmone kirjoitti: To Tammi 04, 2024 6:21 am Laaja kielimalli (LLM) on tekoälyn tyyppi, joka kykenee ymmärtämään, tiivistämään, luomaan ja ennustamaan uutta sisältöä.
Ongelma on siinä, että mitä ikinä kielimalli kierrättää, jonkun ihmisen on täytynyt luoda se omin käsin ja itse ajattelemalla sitä ennen. Mitä ikinä uutta millään alalla keksitään, niin kielimalli voi vain heijastaa sitä, minkä se on jostain muusta lähteestä käynyt imuroimassa. Laillisesti tai laittomasti.
Jos asiat menisivät lakien ja kaiken järjen mukaan, jokainen kielimallia pyörittävä firma joutuisi tuottamaan tai ostamaan käyttämänsä sisällön. Näin, koska kyseessä on yrityksen käyttämä sovellus, jolla se oletettavasti tavoittelee liikevoittoa.
On toki mahdollista, että joku elää siinä fantasiassa, että kielimalli on tietoinen yksilö, joka voi "lukea" Internetiä ja esittää siitä "oppimansa" asiat omana tietonaan. Muussa tapauksessa ChatGPT:n olemassaolo on piratismia ja sen käyttäminen on yhtä paljon piratismia. Koko härvelillä ei tekisi yhtään mitään jos siitä poistaisi kaikki varastetut asiat.
On toki mahdollista myös palata keskiajalle. Silloin sellaista asiaa kuin tekijänoikeus ei tunnettu, vaan jokainen esitys katsottiin aina uudeksi teokseksi. Riippumatta siitä, ketä se lainasi tai imitoi.
Tätä taas auttoi se, että asioita oli hyvin vaikeaa kopioida tai monistaa. Kielimallia voi siis ajatella automatisoituna trubaduurina. Ei älykkönä tai tiedemiehenä, joksi ihmiset nyt tahtovat mieltää sen.
Kielen avulla on helppo esittää käsitteitä. Mutta kun koneelle sen tuottamat sanat eivät edusta käsitteitä. Ne eivät edes edusta sanoja. Kielimallin voi ajatella esittävän vastauksensa jonkun kielen sanojen sijaan vaikka soittamalla nuotteja. Mutta silti kukaan ei toivottavasti kuvittele, että se ymmärtäisi musiikkia.C. Semmmone kirjoitti: To Tammi 04, 2024 6:21 am Kielen avulla on helppo esittää käsitteitä ja siksi kielimallit ovat tärkeä askel koneen älykkyyden kehityksessä kohti käsitteellistä ajattelua.
Tässä on se ylittämätön kuilu. Vaikka vähän väliä jonkun mielestä näyttää siltä, että se on ylitetty. Tai joku unohtaa, että se on olemassa. Ja luulee, että kielimalli "tajuaa" tekstiä tai musiikkia.
Representaation ongelma on juuri siinä, että sanat sinänsä eivät ole käsitteitä. Ihminen ymmärtää, että "pallo on pyöreä". Tai että merkkijonon "pallo" tarkoittamalla esineellä on ominaisuus nimeltä "pyöreys". Tietokoneelle "pyöreys" on nyt ja tulee aina olemaan pelkkä merkkijono, jonka sen käyttäjä tai sen lähdeaineisto liittää jollain todennäköisyydellä toiseen merkkijonoon, joka on vaikka "pallo".
Uskominen tekoälyyn on eräänlaista cargocultismia. Siinä uskotaan, että kun tehdään jotain, mikä tietoisille olennoille edustaa itse asiaa, tai näyttää itse asialta, niin itse asia ilmestyy.
Uskomista tekoälyyn vaivaa myös pysyvä munan ja kanan ongelma. Jotta ne asiat voisivat toimia, joiden ajatellaan voivan tehdä neuroverkosta tietoisen, tarvitaan aina joku asia, joka on jo valmiiksi tietoisuuden ominaisuus. Vain tietoisuus voi havaita, että silmillä nähtävän tai käsillä kosketeltavan esineen pyöreys vastaa kyseistä sanaa tai käsitettä.
Se, että tunnistetut ominaisuudet muodostavat hierarkian, on yleensä käyttäjän tekemä tulkinta. Neuroverkko voi antaa kolme signaalia, joista yksi kertoo, onko kuvassa hauki; toinen, että onko siinä ahven; ja kolmas, että onko siinä kala. Kun se näkee ahvenen, se indikoi, että kyseessä on ahven ja kala. Kun se näkee kultakalan, se indikoi vain, että kyseessä on kala. Mutta se tieto, että kala on näistä yläkäsite, ei sisälly neuroverkkoon kuin sattumalta tai ei ollenkaan. Se voi ihan helposti indikoida, että kuvassa on hauki, joka ei ole kala. Tai että kuvassa on todennäköisesti hauki, joka on epätodennäköisesti kala.C. Semmmone kirjoitti: To Tammi 04, 2024 6:21 am Syväoppimisessa monikerroksinen neuroverkko oppii hierarkisesti luokittelemaan dataa.
Neuroverkko tulee aina myös indikoimaan, että hauki on kala, vain jollain todennäköisyydellä. Se todennäköisyys voi olla vaikka 99,9 %, mutta se ei koskaan lakkaa olemasta vain todennäköisyys. Se ei missään vaiheessa muutu tiedoksi tai ymmärryksesi siitä, että hauki on kala. Ainoa tapa tehdä tämä on, että joku ihminen erikseen ohjelmoi siihen, että "jos löydös on hauki, niin se on kala".
Tämä on vähän kuin tyhmää lasta kouluttaisi kävelemään siksakkia lyömällä vuorotellen vasemmalta ja vuorotellen oikealta. Jossain vaiheessa lapsi kävelisi siksakkia, mutta ei luultavasti edes ymmärtäisi tekevänsä niin. Vielä vähemmän sitä, että miksi. Tämä on se ymmärryksen taso, ihmisen tasolle muutettuna, millä näiden neuroverkkojen kanssa operoidaan.
Jos tädillä olisi munat niin täti olisi setä. Pitäen mielessä, että tämä sanonta on ollut olemassa ennen modernia kirurgiaa.C. Semmmone kirjoitti: To Tammi 04, 2024 6:21 am Tietoinen tekoäly ymmärtäisi käsitteen "tekoäly" ja ymmärtäisi itse olevansa yksi käsitteen ilmentymä.
Suurin osa tästä viestistä, mihin vastaan, on tällaista saman tyyppistä jossittelua, josta puuttuu näkemys siihen, mitkä oikeasti ovat ajattelun automatisoinnin mahdollisuudet ja rajat.
Tietyllä tavalla nämä tekoälyksi väitetyt ohjelmistot ovat kuin amerikkalaiset tele-evankelistat ihmeparantamassa ihmisiä. He tarvitsevat juuri tietynlaisen henkilön, jolla on juuri tietynlainen vaiva. Sitten he tarvitsevat yleisön, joka on halukas uskomaan. Ja he tarvitsevat sen, että kukaan ei jälkikäteen ota selvää, että mikä henkilön vaiva oli, paraniko hän todella ja miten huolellisesti tilanne oli lavastettu.
Jos taas käy ilmi, että mitään ei tapahtunut, niin seuraajat ovat silti varmoja, että toiminnassa on mukana ainakin vähän yliluonnollista voimaa. Samoin kuin nämä ohjelmistot ovat jo ainakin vähän tietoisia. Ja oli miten tahansa, niin se voima kasvaa kaiken aikaa. Etenkin jos ihmiset (riskisijoittajat) lähettävät paljon rahaa.
Kielimalleilla voi nopeuttaa tiedon hakua. Sillä tavalla niitä voi ehkä pitää Googlen uutena tulemisena. Tai niillä voi tuottaa sellaista spammia, millä tukitaan hakukoneet. Nytkin jos etsii tietoa johonkin tekniseen ongelmaan, niin ihmisen kirjoittamaa vastausta ennen löytää kymmenen kielimallilla generoitua ohjetta, joiden oikeellisuudesta ei ole mitään takeita ja joiden sisältö saattaa yhdistellä useampaa vastausta, jotka on annettu vielä toisiinsa liittymättömiin kysymyksiin.C. Semmmone kirjoitti: To Tammi 04, 2024 6:21 am Yksi tällainen muutos on ihmistyövoiman tarpeen nopea väheneminen. Kun kone kykenee tekemään luovaa työtä, ihmisiä vapautuu muihin tehtäviin.
Jos luovuus tarkoittaa asioiden satunnaista yhdistelyä, niin sen arvo lähenee uhkaavasti nollaa. Muunlaista luovaa työtä ei pelkkä automaatti kykene tekemään.
Koneoppimisesta ja syväoppimisesta tuli seksikästä koska ChatGPT. Siinä on koko "viimeaikainen tekoälyn nopea kehitys". Ja jos verrataan siihen, että mitä "on yleisesti uskottu", niin kuka tämä "yleinen uskoja" on, jonka "yleisiin uskomuksiin" tässä viitataan?C. Semmmone kirjoitti: To Tammi 04, 2024 6:21 am Viimeaikainen tekoälyn nopea kehitys saattaa johtaa ihmisen ajattelun kaltaiseen yleiseen tekoälyyn nopeammin kuin on yleisesti uskottu.
Minäkin voin sanoa, että "olen pidempi ja painavampi kuin ihmiset täällä luulevat". Vaikka oikeasti olen aivan varma, ettei täällä ole kukaan luullut minun pituudestani tai painostani yhtään mitään.
Raamatussa sanotaan, että jokaisesta turhasta sanasta ihminen joutuu lopulta vastuuseen. Siis ei pelkästään vääristä tai ilkeistä sanoista. Tämän perusteella voi helposti sanoa, että keskusteleminen tekoälystä on syntiä, koska suurin osa siitä on turhia sanoja.
Viimeisenä haluaisin lisätä sellaisen jutun tähän, että väitteet siitä, ettei ole mahdollista tietää, miten neuroverkko muodostaa tulosteensa, ovat käytännössä aina perättömiä. Mikä tahansa neuroverkko on mahdollista instrumentoida, jos tahdotaan tietää, mikä osa siitä vaikuttaa mihinkin osaan tulosteessa.
Neuroverkot ovat stokastisia prosesseja. Tarkoittaa sitä, että niiden toimintaa voi testata syötettä asteittain muuttelemalla. Ne eivät turhaudu ihmisten tavoin, vaan antavat saman tai hieman muutetun vastauksen uudestaan ja uudestaan. Eivätkä ne muutu itsessään, pelkästä käyttämisestä, vaan ainoastaan jos muuttuminen kytketään päälle ohjelmakoodin puolelta.
Neuroverkon voi myös yliopettaa siten, että jos sen pitäisi tunnistaa vaikkapa kissojen kuvia, niin se voi fokusoitua liikaa juuri tietyn kokoisiin, muotoisiin, ikäisiin tai värisiin kissoihin. Kun tavoite voisi olla, että se tunnistaisi kissoja yleensä. Myös jos neuroverkon annetaan oppia omista tuloksistaan, niin se johtaa vain jyrkempään gradienttiin. Tällä taas ei ole mitään tekemistä tarkemmaksi tulemisen kanssa.
Samalla tavalla jos neuroverkon annetaan oppia tuloksistaan, niin sen voi vahingossa, sattumalta tai tarkoituksella opettaa väittämään kissaksi mitä tahansa joltain hahmon osalta kissaa muistuttavaa, esimerkiksi pöllöjä.
Syy, miksi neuroverkon tulosteen muodostumisen jäljittäminen voi olla vaivalloista ja turhaakin, on se, että kielimalleissa syötteen ja tulosteen välillä on alueita, jotka ovat käytännössä pelkkiä kertoimia. Tosin yksi mahdollinen kokeilu on kysyä siltä ensin, että kuka on Sauli Niinistö, ja sitten vaikka että kuka on Martti Ahtisaari. Ja katsoa, että mitkä neuronit reagoivat mihinkin nimeen tai nimen osaan.
On myös mahdollista, että ChatGPT on kokonaan silmänlumetta. Se voi olla käytännössä hakukone, johon on laitettu päälle kielimalli, joka muotoilee sen tulosteen muistuttamaan yhteenvetoa kymmenestä parhaana pidetystä hakutuloksesta. Olisi äärettömän tehotonta se, että ChatGPT kykenee vastaamaan kysymyksiin tuhansista ja tuhansista poliitikoista ja julkkiksista, ja että kaikista heistä olisi tungettu pieni wikiteksti neuroverkon sisään. Paljon järkevämpää on, että ChatGPT oikeasti säilyttää vastauksiaan kuin perinteistä hakukoneen tietokantaa, ja koneoppimista käytetään ainoastaan tuloksen muotoiluun.
Tämä tarkoittaisi sitä, että kyse olisi vain hakukoneen käyttöliittymästä. Koko nykyinen tekoälyn tai koneoppimisen vallankumous olisi siis pelkkää ilmaa. Vaan mikä kuitenkin eniten puhuu sen puolesta, että wikitekstit ovat jollain tavalla mallin sisällä, on esimerkiksi se, että ChatGPT sanoi vähän aikaa sitten Päivi Räsäsen olleen myös terveysministeri ja pohjoismaisen yhteisyön ministeri. Lopputulos olisi suunnilleen sama, ja kumpikaan vaihtoehto ei anna syytä liikaan innostumiseen.