{"id":1089,"date":"2024-10-01T14:47:04","date_gmt":"2024-10-01T11:47:04","guid":{"rendered":"http:\/\/tuijasonkkila.fi\/?p=1089"},"modified":"2024-10-02T16:28:47","modified_gmt":"2024-10-02T13:28:47","slug":"huomioita-tekoalyn-kaytosta-sovelluskehityksessa-tapaus-solita","status":"publish","type":"post","link":"https:\/\/tuijasonkkila.fi\/?p=1089","title":{"rendered":"Huomioita teko\u00e4lyn k\u00e4yt\u00f6st\u00e4 sovelluskehityksess\u00e4, tapaus Solita"},"content":{"rendered":"\n
\"\"<\/a><\/figure>\n\n\n\n

Yhteenveto Solita<\/a>-yhti\u00f6n toistaiseksi kolmiosaisesta YouTube-keskustelusarjasta, jossa on aiheena teko\u00e4ly sovelluskehitysprojektissa. Keskustelijat ovat Sami K\u00f6ykk\u00e4<\/strong> ja Marko Taipale<\/strong>. Videot julkaistaan yrityksen kanavalla Discovering, uncovering and hype-busting GenAI<\/a><\/p>\n\n\n\n

Videoiden esittelyteksti, joka kertoo taustat:<\/p>\n\n\n\n

Solita and ISS have initiated the world’s first comparative study in a real consumer project to better understand the potential of GenAI. Two teams, one mission: one team uses modern, agile software development methods, and the other harnesses the power of generative AI at every step. Both are building the same ERP pricing tool but with radically different approaches. We are here to share experiences and learnings from our groundbreaking GenAI Twin project with our customer ISS, a leading facility management company. Our mission is to experiment in practice and learn fast \u2013 discover, uncover and hype-blast GenAI. What can we do with GenAI tools, and what is still hype? Where is the value?<\/em><\/p>\n\n\n\n

Keskustelijat eiv\u00e4t kerro suoraan, mit\u00e4 kaikkia teko\u00e4lyty\u00f6kaluja he k\u00e4ytt\u00e4v\u00e4t. Riveilt\u00e4 ja rivien v\u00e4list\u00e4 voi kuitenkin p\u00e4\u00e4tell\u00e4, ett\u00e4 niit\u00e4 ovat ainakin OpenAI:n ChatGPT<\/a>, Microsoft Copilot<\/a> ja arvatenkin Microsoft Azure ja sen teko\u00e4lyalusta<\/a>.<\/p>\n\n\n\n

1. Could software be done in a day?<\/a><\/p>\n\n\n\n

Solitan tiimiss\u00e4 on seitsem\u00e4n j\u00e4sent\u00e4. Jo nyt, prototyyppivaiheessa, ovat havainneet, ett\u00e4 toisenlaista on. Teko\u00e4ly on auttanut esitt\u00e4m\u00e4\u00e4n keskeisi\u00e4 kysymyksi\u00e4, kuten: mit\u00e4 me oikeastaan olemme tekem\u00e4ss\u00e4? Mit\u00e4 yrit\u00e4mme saada aikaan? Tiimil\u00e4iset sy\u00f6tt\u00e4v\u00e4t toinen toisilleen informaatiota ja teko\u00e4ly tekee raskaan ty\u00f6n. Vertaavat ty\u00f6skentely\u00e4 parvi\u00e4lyyn<\/strong>. Hyvin poikkeuksellista on se, ett\u00e4 mukana on koko ajan my\u00f6s asiakkaan edustaja. Perinteisesti asiakkaan pit\u00e4minen mukana projektissa pidempi\u00e4 aikoja on ollut vaativaa.<\/p>\n\n\n\n

Prototyyppivaihe <\/strong>on iterointia. Normaali kuuden viikon iterointisykli on nyt vain 15 minuuttia. On aikaa tehd\u00e4 useita protoja ja asiakas voi valita, mill\u00e4 jatketaan. Voidaan jopa vaihtaa tavoitetta lennossa. Enemm\u00e4n kuin kokonaisajan s\u00e4\u00e4st\u00f6\u00e4, aikaa k\u00e4ytet\u00e4\u00e4n korkeammalla abstratiotasolla. “Ent\u00e4 jos?”-kysymyksille voidaan nyt etsi\u00e4 vastauksia saman tien. Normaalisti ne on kuitattava mielenkiintoisiksi mutta j\u00e4tett\u00e4v\u00e4, koska niihin ei ole budjetoitu eik\u00e4 varattu projektiaikaa. My\u00f6s ns. “nauruversioita” voidaan tehd\u00e4. Jos niist\u00e4 ei ole mihink\u00e4\u00e4n, aikaa ei ole hukattu kuin muutamia minuutteja.<\/p>\n\n\n\n

Keskustelijat olivat yht\u00e4 mielt\u00e4 siit\u00e4, ett\u00e4 t\u00e4ydellisen kehotteen <\/strong>(prompt) rakentelu on turhaa ajanhukkaa. Sen sijaan ihminen orkesteroi, k\u00e4skytt\u00e4\u00e4 teko\u00e4ly\u00e4, ja edet\u00e4\u00e4n pienin askelin.<\/p>\n\n\n\n

Jotta prototyypin k\u00e4ytt\u00f6liittym\u00e4\u00e4 p\u00e4\u00e4st\u00e4\u00e4n aloittamaan, m\u00e4\u00e4rittelyjen pit\u00e4\u00e4 yleens\u00e4 olla tehtyn\u00e4. Nyt voivat sen sijaan edet\u00e4 seuraavasti: pyyt\u00e4v\u00e4t teko\u00e4ly\u00e4 tekem\u00e4\u00e4n tietomallin<\/strong>; sit\u00e4 viilataan asiakkaan toiveiden mukaan; valmiista tietomallista syntyy oma teko\u00e4lysovelluksensa; pyyt\u00e4v\u00e4t sit\u00e4 laatimaan hyv\u00e4n kehotteen k\u00e4ytt\u00f6liittym\u00e4n tekemiseksi.<\/strong> Ovat siis saaneet kaksi teko\u00e4ly\u00e4 keskustelemaan kesken\u00e4\u00e4n. Puolessa tunnissa heill\u00e4 oli prototyyppi valmiina sovellustesteineen.<\/p>\n\n\n\n

Teko\u00e4lyn kanssa pit\u00e4\u00e4 varoa kaninkoloja ja sit\u00e4, ettei teko\u00e4ly p\u00e4\u00e4se niskan p\u00e4\u00e4lle. Sinun ihmisen\u00e4 on oltava se, joka kertoo teko\u00e4lylle, mit\u00e4 tehd\u00e4\u00e4n, ei p\u00e4invastoin. Sovelluskehitystiimiss\u00e4 on kuitenkin luultavasti henkil\u00f6it\u00e4 kumpaankin junaan. Toisille on luontevampaa tehd\u00e4 ty\u00f6t\u00e4 k\u00e4sketty\u00e4, toisille k\u00e4ske\u00e4 itse. <\/p>\n\n\n\n

2. Who’s the driver in a GenAI project?<\/a><\/p>\n\n\n\n

Tiimi hy\u00f6dynt\u00e4\u00e4 teko\u00e4lyavustajia<\/a>. Yksi niist\u00e4 on virtuaalinen tuoteomistaja <\/strong>(product owner PO<\/a>), jolla on sy\u00f6tetty kaikki projektidokumentointi. Kielimalli tiet\u00e4\u00e4 kaiken SCRUMista, joten PO on sille tuttu k\u00e4site. Tiimi voi siis sivuuttaa aloitustason ja kysy\u00e4 heti vaikka ett\u00e4 “Mihin pystyt? Mit\u00e4 voit tarjota?” Muita informaatiol\u00e4hteit\u00e4, joita teko\u00e4lylle on sy\u00f6tetty: Slackin keskustelulokit <\/strong>ja litteroidut <\/strong>Microsoft Teams -istunnot. Mutta koska ollaan kansainv\u00e4lisess\u00e4 pilvipalvelussa, keskusteluista on pit\u00e4nyt poistaa oikeat henkil\u00f6nimet, joten pseudonymisointia varten on tehty paikallinen malli. Ideoivat my\u00f6s Jira-tikettij\u00e4rjestelm\u00e4n r\u00e4stilistan priorisointia<\/strong> teko\u00e4lyn avulla. Avustajat pystyv\u00e4t my\u00f6s ennen pitk\u00e4\u00e4n juttelemaan kesken\u00e4\u00e4n, arvioivat keskustelijat.<\/p>\n\n\n\n

Avustajaa on kokeiltu my\u00f6s raportoijana<\/strong>. Sairaslomalta palanneelle on annettu avustaja, joka on seurannut kaikkea puhuttua ja kirjoitettua. Keskustelijoiden mukaan palannut sai vajaassa puolessa tunnissa koosteet kaikesta, josta oli lomallaan j\u00e4\u00e4nyt paitsi. Sami kertoi tehneens\u00e4 itselleen henkil\u00f6kohtaisen avustajan<\/strong>, jolta h\u00e4n voi kysell\u00e4 aina kun ei ymm\u00e4rr\u00e4, mist\u00e4 puhutaan. Vaikka h\u00e4nell\u00e4 onkin ohjelmoijatausta, h\u00e4n ei hallitse kaikkia Solitassa k\u00e4ytettyj\u00e4 tekniikoita. “Kerro minulle, mik\u00e4 on .NET”. Sen, mit\u00e4 teko\u00e4ly vastaa, voi aina validoita tiimin j\u00e4senill\u00e4. Mutta kaikki apulaiset eiv\u00e4t ole olleet menestyksi\u00e4. Esimerkiksi “Scrum Master” osoittautui pedantiksi. Ei joustanut ja asetti aivan liian tarkkoja aikarajoja tekemiselle.<\/p>\n\n\n\n

Microsoft Copilot<\/strong> jakaa mielipiteit\u00e4, mutta se on kielt\u00e4m\u00e4tt\u00e4 tehokas ty\u00f6kalu. Se tekee mm. lennossa Microsoft Teams -kokousten litteroinnin, ja sen kanssa voi saman tien aloittaa keskustelun. “Selit\u00e4 minulle, mit\u00e4 viimeisen viiden minuutin aikana on puhuttu.” Solitassa on testattu my\u00f6s sit\u00e4, ett\u00e4 kuuntelija on ollut p\u00e4\u00e4ll\u00e4 kokouksessa, jossa tiimil\u00e4iset eiv\u00e4t itse ole olleet osallisina. Sami kertoi olleensa varmuuden vuoksi itse paikalla hiljaisena osallistujana pit\u00e4m\u00e4ss\u00e4 huolta, ett\u00e4 kaikki toimii.<\/p>\n\n\n\n

Kun informaatiota syntyy runsaasti, teko\u00e4lyn nykyiset rajoitteet tulevat esiin. Asiakkaan edustaja oli ollut lounaalla puolisen tuntia ja palatessaan kysynyt teko\u00e4lylt\u00e4, mist\u00e4 oli puhuttu, jolloin kuuntelija oli alkanut hallusinoida ruusuista sun muista. Koko p\u00e4iv\u00e4n mittaisesta sessiosta se saattaa muistaa vain aamup\u00e4iv\u00e4n osuuden.<\/p>\n\n\n\n

Ongelman ydin on RAG<\/strong><\/a>.<\/p>\n\n\n\n

    <\/ol>\n\n\n\n

    Solitan tiimi sy\u00f6tt\u00e4\u00e4 kaikki dokumentit teko\u00e4lylle, joka rakentaa niist\u00e4 vektoritietokannan<\/a>. Jos teko\u00e4ly\u00e4 pyydet\u00e4\u00e4n esimerkiksi palauttamaan jonkin tietyn asian keskeiset tekstikappaleet, teko\u00e4ly ker\u00e4\u00e4 niit\u00e4 kannasta tietyn m\u00e4\u00e4r\u00e4n. Oikeat kappaleet eiv\u00e4t v\u00e4ltt\u00e4m\u00e4tt\u00e4 kuitenkaan sis\u00e4lly juuri niihin. Ongelmaa voi yritt\u00e4\u00e4 kiert\u00e4\u00e4 kehotteen muistilla: teet valtavan kehotteen, jossa on koko materiaali ja kysymys per\u00e4ss\u00e4. Mutta se ei ole kest\u00e4v\u00e4\u00e4 kehityst\u00e4. Sit\u00e4 paitsi, jos k\u00e4yt\u00e4t maksullista teko\u00e4ly\u00e4, iso kehote tulee kalliiksi. Kehote, jossa on mukana kokonainen kirja, maksaa kolmisen euroa joka kerta.<\/p>\n\n\n\n

    Lainaan p\u00e4tk\u00e4n Simon Willisonia<\/a> The Pragmatic Engineer -podcastin jaksosta AI tools for software engineers, but without the hype<\/a> (vahvennukset minun):<\/p>\n\n\n\n

    \n

    […] a very fancy acronym for a very simple trick. It stands for retrieval augmented generation<\/strong>. All it means is the user asks a question, you search your documentation for things that might be relevant to that question. You copy and paste the whole lot into the model, and these models can take quite a lot of input now, and then put the user’s question at the end. That’s it. Super, super simple. <\/p>\n\n\n\n

    Yeah, so RAG, it’s the Hello World of building software on top of LLMs. You don’t get it to print Hello World, you get it to answer questions about your documentation. I’ve implemented like 30 lines of Python. I’ve got one version that’s like two dozen lines of Bash, I think.<\/p>\n\n\n\n

    It’s very easy to get the basic version working, but getting good RAG working is incredibly difficult because the problem is that if you built the system and you know how it works, you are naturally going to ask questions of it in the right kind of format.<\/strong><\/p>\n\n\n\n

    The moment you expose it to real human beings, they will come up with an infinite quantity of weird ways that they might ask questions.<\/strong><\/p>\n\n\n\n

    And so the art of building good RAG systems, the reason that it could take six months to actually get it production ready is figuring out, “Okay, there were all of these different ways that it can go wrong.” And the key trick in RAG is always how do we fill that context?<\/p>\n\n\n\n

    How do we pick the information that’s most relevant to what the user is asking, which is really hard. That’s actually like … It’s an information retrieval problem<\/strong>. It’s what search engineers have been trying to figure out for 30 years, and there’s a lot of depth to that field.<\/p>\n\n\n\n

    So RAG, just like everything else in language models, it’s fractally interesting and complicated. It’s simple at the top, and then each little aspect of it gets more and more involved the further you look.<\/p>\n<\/blockquote>\n\n\n\n

    Avustajista ei ole en\u00e4\u00e4 kovin pitk\u00e4 matka agentteihin<\/strong>, jotka suorittavat teht\u00e4vi\u00e4. Alustavia testej\u00e4 on jo tehty. Tiimi k\u00e4ytti esimerkiksi agenttia kopioimaan teksti\u00e4 avustajien v\u00e4lill\u00e4. <\/p>\n\n\n\n

    \n

    Mik\u00e4 on ihmisen rooli agenttien maailmassa? Keskustelijat olivat sit\u00e4 mielt\u00e4, ett\u00e4 agentit saavat tehd\u00e4 perusty\u00f6t ja ihminen voi siirty\u00e4 astetta ylemm\u00e4lle tasolle, vaativampien ongelmien pariin. Vertasivat agenttia taskulaskimeen: yksik\u00e4\u00e4n matemaatikko ei ole menett\u00e4nyt ty\u00f6t\u00e4\u00e4n siksi, ett\u00e4 taskulaskin on keksitty. Mielenkiintoinen vertaus oli se, ett\u00e4 tulevaisuudessa ihminen saattaisi toimia k\u00e4\u00e4nt\u00e4j\u00e4n (compiler) roolissa: m\u00e4\u00e4rittelee ja selitt\u00e4\u00e4 ongelmia tietokoneelle.<\/p>\n<\/div><\/div>\n\n\n\n

    3. How will GenAI change software development?<\/a><\/p>\n\n\n\n

    Aivan aluksi Solitan tiimi k\u00e4vi tietysti l\u00e4pi markkinoilla olevia teko\u00e4lyty\u00f6kaluja, testasi, valitsi sopivat yms. Mutta hyvin pian alun teknisest\u00e4 vaiheesta siirryttiinkin tiimipsykologiaan <\/strong>ja tiimin rakenteeseen. Ty\u00f6skentely on sekavampaa kuin mit\u00e4 ennalta kuvittelisi, ei kovakoodattuja rooleja, ketter\u00e4mp\u00e4\u00e4 kuin ketteryys<\/a>. <\/p>\n\n\n\n

    Keskustelun ehk\u00e4 mielenkiintoisin jakso koski ty\u00f6njakoa.<\/p>\n\n\n\n

    Solitan AI-tiimiss\u00e4 on kaksi roolia: kuljettaja <\/strong>(driver) ja navigaattori<\/strong>. Vain kuljettajalla on tietokone, muilla ei. Navigaattorit auttavat kuljettajaa ongelman ratkaisemisessa. Rooleja kierr\u00e4tet\u00e4\u00e4n vartin v\u00e4lein. Sami vertasi t\u00e4t\u00e4 siihen tapaan, jota h\u00e4n ja kaverit k\u00e4yttiv\u00e4t silloin kun Commodore64 ja Amiga olivat uusia: yksi istui puikoissa, toiset istuivat vieress\u00e4 ja kommentoivat. T\u00e4llainen ty\u00f6skentely on kuitenkin niin kuluttavaa, ett\u00e4 tiimin on pakko pit\u00e4\u00e4 v\u00e4lill\u00e4 “v\u00e4litunteja”. <\/p>\n\n\n\n

    Marko painotti psykologisen turvallisuuden<\/strong> t\u00e4rkeytt\u00e4 (psychological safety<\/a>). Ket\u00e4\u00e4n ei arvostella. Virheet eiv\u00e4t ole pahaksi, koska korjausliikkeet ovat nopeita.<\/p>\n\n\n\n

    Kuljettaja p\u00e4\u00e4tt\u00e4\u00e4, joten roolissa on vapausastetta<\/strong>. Onnistumiset ovat pieni\u00e4 mutta onnistumisia joka tapauksessa. Eik\u00e4 kokouksia! Asiakkaillakin on tunne, ett\u00e4 heist\u00e4 on ollut hy\u00f6ty\u00e4. Perinteisesti asiakkaan edustajan on t\u00e4ytynyt omaksua paljon informaatiota, jota sitten pikkuhiljaa k\u00e4ytet\u00e4\u00e4n kokouksissa. Nyt otetaan pieni\u00e4 askelia mutta oikeassa asiayhteydess\u00e4, ja p\u00e4\u00e4t\u00f6ksenteon sykli on nopea. Sami vertasi teko\u00e4ly\u00e4 p\u00e4\u00e4nsis\u00e4iseen tukirankaan (mental exoskeleton<\/a>).<\/p>\n\n\n\n

    Mik\u00e4 siis muuttuu? Yksi Samin kielikuvista oli Lego-rakennussarja. Peruspalikoista siirryt\u00e4\u00e4n isompiin rakenteisiin<\/strong>, jotka koostuvat n\u00e4ist\u00e4 peruspalikoista. Tiimin koostumus saattaa ajoittain muuttua, sit\u00e4 voidaan vahvistaa projektin ulkopuolisilla, vaikka p\u00e4iv\u00e4 kerrallaan. Testaajia, graafikkoja, tietoturvan edustajia jne. Perehdytykselle <\/strong>tiimist\u00e4 saattaa olla paljonkin apua. Keskustelijat olivat sit\u00e4 mielt\u00e4, ett\u00e4 menestyst\u00e4 ei ratkaise niink\u00e4\u00e4n kokemus kuin innokkuus kokeilla uutta.<\/p>\n\n\n\n

    Mutta sopiiko nopeatempoinen, jakamiseen perustuva, uutta kokeileva pienryhm\u00e4ty\u00f6skentely kaikille? Ei sovi. Tietoty\u00f6l\u00e4isiss\u00e4 on kuitenkin runsaasti introvertteja<\/strong>. Mink\u00e4lainen rooli heill\u00e4 siis voi olla? Solitan testiprojektissa ei n\u00e4ht\u00e4v\u00e4sti ole t\u00e4t\u00e4 k\u00e4yt\u00e4nn\u00f6n tosiasiaa viel\u00e4 juuri k\u00e4sitelty, mik\u00e4 ei sin\u00e4ns\u00e4 ole yll\u00e4tys. Marko mietti, ett\u00e4 ainakin ajajan rooliin istumista kannattaa lyk\u00e4t\u00e4, jos sit\u00e4 ei koe omakseen. Osallistuu ensin jonkin aikaa navigaattorina. Tiimin on my\u00f6s hyv\u00e4 ymm\u00e4rt\u00e4\u00e4 hidastaa, ettei tahti kiihdy liikaa, varsinkin alussa kun innostus on suurinta. Sit\u00e4paitsi: “Nothing bad in good old slow thinking”.<\/p>\n\n\n\n

    PS<\/strong>. Marko kertoi, miten solitalaisille oli esitelty tapaa, jolla Tesla ja SpaceX toteuttavat p\u00e4ivitt\u00e4isess\u00e4 ty\u00f6ss\u00e4\u00e4n yrityksen tavoitetta. Esimerkiksi SpaceX<\/a>:n p\u00e4\u00e4m\u00e4r\u00e4 on kuulemma asuttaa maailmankaikkeus 1000 vuoden kuluttua. T\u00e4st\u00e4 tavoitteesta on johdettu jatkuvasti p\u00e4ivittyv\u00e4 suorituskykymittari (KPI). SpaceX on siin\u00e4 vaiheessa maailman valloitusta, ett\u00e4 KPI tarkoittaa t\u00e4ll\u00e4 hetkell\u00e4 samaa kuin “miten saada kilo materiaa avaruuteen mahdollisimman halvalla?” K\u00e4yt\u00e4nn\u00f6ss\u00e4 siis raketista pyrit\u00e4\u00e4n saamaan painoa pois.<\/p>\n\n\n\n

      <\/ol>\n","protected":false},"excerpt":{"rendered":"

      Yhteenveto Solita-yhti\u00f6n toistaiseksi kolmiosaisesta YouTube-keskustelusarjasta, jossa on aiheena teko\u00e4ly sovelluskehitysprojektissa. Keskustelijat ovat Sami K\u00f6ykk\u00e4 ja Marko Taipale. Videot julkaistaan yrityksen kanavalla Discovering, uncovering and hype-busting GenAI Videoiden esittelyteksti, joka kertoo taustat: Solita and ISS have initiated the world’s first comparative study in a real consumer project to better understand the potential of GenAI. Two teams, … Continue reading Huomioita teko\u00e4lyn k\u00e4yt\u00f6st\u00e4 sovelluskehityksess\u00e4, tapaus Solita<\/span> →<\/span><\/a><\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[149],"tags":[165,164],"class_list":["post-1089","post","type-post","status-publish","format-standard","hentry","category-diverse-coding","tag-solita","tag-tekoaly"],"_links":{"self":[{"href":"https:\/\/tuijasonkkila.fi\/index.php?rest_route=\/wp\/v2\/posts\/1089","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/tuijasonkkila.fi\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/tuijasonkkila.fi\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/tuijasonkkila.fi\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/tuijasonkkila.fi\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=1089"}],"version-history":[{"count":13,"href":"https:\/\/tuijasonkkila.fi\/index.php?rest_route=\/wp\/v2\/posts\/1089\/revisions"}],"predecessor-version":[{"id":1105,"href":"https:\/\/tuijasonkkila.fi\/index.php?rest_route=\/wp\/v2\/posts\/1089\/revisions\/1105"}],"wp:attachment":[{"href":"https:\/\/tuijasonkkila.fi\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=1089"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/tuijasonkkila.fi\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=1089"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/tuijasonkkila.fi\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=1089"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}