Korvasiko generatiivinen tekoäly ihmisen luovuuden?

Luovilla menetelmillä pyritään syrjäytymisen ehkäisemisen lisäksi lisäämään hoivakotien asukkaiden hyvinvointia, turvallisuuden, yhteenkuuluvuuden ja osallisuuden tunnetta sekä ylläpitämään tulevaisuuden uskoa.​ Elossa! Luovaa alaa ja hoivakoteja elvyttämässä yhteiskehittämällä -hankkeessa (5/2021–3/2023) kartoitettiin kyselylomakkeen avulla Helsingin Seniorisäätiön asukkaiden näkemyksiä, toiveita ja tarpeita luovasta toiminnasta sekä mitä luovuus heille tarkoittaa ja merkitsee. Hankkeen työpajoissa käytetyt luovat menetelmät olivat musiikki, kuvataide, draama ja digitaalinen verkko-ohjaus. Yli puolet asukkaista kokee luovuuden arjessaan tärkeäksi Ikääntyneille hoivakotien asukkaille luovuus on tärkeä vuorovaikutuksen ja itsensä ilmaisun keino. Esimerkiksi erilaisissa luovan toiminnan työpajoissa asukkaille annetaan mahdollisuus kokea yhteisöllisyyttä, tulla kuulluksi ja nähdyksi taiteen ja luovuuden kautta vuorovaikutuksessa sekä keskustella yhdessä niin muiden asukkaiden kuin hoitajienkin kanssa. Luovuuden tiedetään voimaannuttavan sekä tuovan myönteisiä onnistumisen tunteita, kun asukas saa itse tehdä ja osallistua tekemiseen. (Humala & Ruohonen 2023.) Luovuutta ja taidetta voidaan käyttää myös lisäämään ja vahvistamaan asukkaiden osallisuuden kokemuksia (Huhtinen-Hildén & Isola 2018). Luovuudesta hoivakodin arjessa on tehty tutkimuksia, mutta lähtökohtaisesti tutkimukset kohdistuvat hoivakodin työntekijöiden kokemuksiin sekä työntekijöiden kokemuksista muodostettuihin erilaisiin toimintatapoihin ja toimintamalleihin. Kuitenkin myös työntekijät ovat tuoneet esiin, että olisi tärkeä kerätä tietoa asukkailta siitä, millaisia toiveita arjen tapahtumista, esiintyjistä ja toiminnallisuudesta heillä on.  (Huhtinen-Hilden ym. 2016.) Ennen Elossa! Luovaa alaa ja hoivakoteja elvyttämässä yhteiskehittämällä -hankkeen päättymistä halusimme kartoittaa, mitä luovuus merkitsee Helsingin Seniorisäätiön asukkaille sekä mikä heille on luovuutta omassa ja hoivakodin arjessa. Hankkeen loppupuolella helmikuussa 2023 Seniorisäätiön hoivakotien asukkailta kysyttiin, millainen merkitys luovuudella on heille omassa elämässään ja hoivakodin arjessa. Haastattelun kysymykset oli laadittu valmiiksi hanketyöntekijöiden toimesta ja hoivakodin työntekijät toteuttivat haastattelun. Saimme kyselyyn vastauksia 14 hoivakodin asukkaalta. Vastausten mukaan suurin osa eli 57 % hoivakotien asukkaista kokee luovuuden arjessaan melko tärkeäksi ja 7 % tärkeäksi.  Melko vähän tärkeäksi luovuuden koki 29 % vastaajista ja vain 7 %:lle asukkaista luovuus ei ole lainkaan tärkeää. Vastaajista puolet (50 %) toivoi luovaa toimintaan omaan ja hoivakodin arkeen useamman kerran viikossa ja 21 % asukkaista kerran viikossa. Päivittäin jotakin luovaa oman arkensa piristykseksi toivoi yksi vastaaja (7 %). Selkeästi vähemmistö vastaajista (21 %) toivoi luovaa toimintaa ainoastaan 2–3 kertaa kuukaudessa tai harvemmin. Vastauksista tulee selkeästi esiin, että luovuudella on suuri merkitys Helsingin Seniorisäätiön asukkaille. Luovuus on muutakin kuin musiikkia, kuvataidetta ja draamaa Luovuus voidaan ymmärtää perinteisten luovien menetelmien, kuten musiikki, kuvataide ja draama, sekä korkeakulttuurin lisäksi myös kaikille kuuluvina ominaisuuksina, asenteina, itsensä toteuttamisena, merkityksellisinä kokemuksina ja luovan toiminnan mahdollisuuksina arjessa, arkisina asioina. Luova arki on usein pieniä hetkiä liittyen esimerkiksi ruuan laittoon tai puutarhanhoitoon – hetkiä, jotka tuovat hyvää mieltä asukkaiden arkeen. (Huhtinen-Hilden ym. 2016.) Myös kyselyn tulokset osoittivat, että perinteisten luovien menetelmien ohella luovuus ymmärretään ja koetaan eri lailla. Useat vastaajat tunnistivat musiikin, sosiaalisuuden, liikunnan, erilaisten ohjattujen ryhmien ja kerhojen sekä muun muassa eläinten ja päiväkodin lasten vierailujen tuovan luovuutta omaan arkeen. Lisäksi erilaiset kulttuuritapahtumat, käsityöt, visailut ja pelit sekä puutarhan ja kukkien hoito nähtiin mielekkäinä ja itselle tärkeinä luovuuden lähteinä. Kysyttäessä, millaista luovaa toimintaa asukkaat toivoisivat enemmän, saivat musiikkiin, sosiaalisuuteen sekä ohjattuihin ryhmiin liittyvät tapahtumat eniten kannatusta. Eläinten ja päiväkotilasten vierailuja toivottiin nykyistä enemmän, samoin yhteislaulua ja tanssia. Saaduissa vastauksessa tuli esiin, että ylipäätään yhdessä puuhastelu ja asukkaiden yhteinen arki nähdään tärkeänä luovuuden tuojana. Tämä on tärkeä näkökulma ja asukkaiden yhdessä vietettyjä hetkiä tulisikin tukea ja mahdollistaa hoivakodin arjessa. Vastausten perusteella pohdimme, että asukkaiden elämän historialla on varmasti merkitystä siinä, miten luovuus koetaan ja ymmärretään. Mikäli asukkaan elämään on aina kuulunut jotakin luovaa toimintaa, tulisi tämä huomioida asukkaan muuttaessa hoivakotiin. Tutkimusten mukaan hoivakodin työntekijät ovatkin tuoneet esiin, että asukkaiden elämänhistorian tunteminen ja eletyn elämän näkeminen merkityksellisenä on tärkeää luovan arjen näkökulmasta. Kun nämä asiat nähdään tärkeinä ja tunnistetaan mm. kirjaamalla tieto asukkaan hoito- ja palvelusuunnitelmaan, on asukkaiden toiveita ja tarpeita vastaavan luovan toiminnan toteuttaminen osana asiakaslähtöistä hoitotyötä työntekijöille helpompaa. (Huhtinen-Hilden ym. 2016.) Jokaiselle tulisi antaa mahdollisuus osallistua luovaan toimintaan omalla tavallaan Sosiaalisuuden ja yhteisen tekemisen merkitys osana luovuutta tuli esille kysyttäessä asukkailta, millainen luovuus on heille tärkeää omassa ja hoivakodin arjessa. Sosiaalisuuden merkitys korostui myös vastauksissa kysymykseen: ”Mikä on itsellesi mieluisin tapa osallistua luovaan toimintaan?” Selkeästi suosituimmaksi tavaksi nousi yhdessä tekeminen ja osallistuminen esimerkiksi pienryhmässä. Luovat, yhteisölliset ja toiminnalliset hetket antavat mahdollisuuksia uusille olemisen tavoille, yhteisöllisyydelle ja osallisuuden kokemuksille. Tiedetään, että luova toiminta ryhmässä mahdollistaa vuorovaikutuksessa ajatusten, tunteiden ja merkityksellisten kokemusten jakamisen turvallisella tavalla. Taiteen ja luovan ilmaisun kautta hoivakodin asukkaalla on mahdollisuus tulla kuulluksi, näkyväksi ja kohdatuksi, yhdessä tekemällä ja jakamalla kokemuksia eleiden, ilmeiden ja sanojen kautta. (Huhtinen-Hildén & Isola 2018.) Ryhmätyöskentelyn lisäksi kolme vastaajaa kannatti parityöskentelyä hoitajan kanssa. Hoitajia tulisikin tukea enemmän asukkaiden kanssa kahden kesken vietettyyn aikaan, sillä Huhtinen-Hildén ja kumppaneiden (2016) tekemän tutkimuksen mukaan läsnäolo asukkaan kanssa ja kahden kesken vietetty aika luo tunteen aidosta kohtaamisesta ja tuo asukkaalle hyvää mieltä. Usein nämä hetket ovat asukkaille myös merkityksellisempiä, kuin varsinaiseen järjestettyyn toimintahetkeen osallistuminen. (Huhtinen-Hildén ym. 2016.) Kaksi vastaajaa toivoi voivansa osallistua itsenäisesti työskentelemällä ja yksi vastaaja toi esiin, että mielekkäin tapa olisi parityöskentely oman läheisen kanssa. Koska vastausvaihtoehdot ”Seuraamalla muun ryhmän työskentelyä” ja ”Seuraamalla ulkopuolista esiintyjää tai luovan toiminnan toteuttajaa” saivat myös selkeästi monien vastaajien kannatusta, on tärkeää muistaa, että toiminnan tai esiintyjän seuraaminenkin on osallistumista. Elossa! Luovaa alaa ja hoivakoteja elvyttämässä yhteiskehittämällä -hanke osoitti, että monialaista työskentelyä tarvitaan mahdollistamaan vuorovaikutuksellisia hetkiä, mihin asukkaalla on mahdollisuus liittyä ja saada kokemuksia niin turvallisuuden, yhteenkuuluvuuden ja osallisuuden tunteesta. Kuitenkin Helsingin Seniorisäätiön asukkaille tehdyn kyselyn mukaan luovuus on muutakin kuin hoivakodin viikkotoiminnasta poikkeavia toimintahetkiä ja ulkopuolisten esiintyjien vierailuja – parhaimmillaan luovuus toteutuu hoivakodin arjessa kohtaamisen ja yhdessä olon hetkissä. Kirjoittajat: Anu-Riikka Eerola Vanhustyön lehtori, Metropolia Ammattikorkeakoulu Projektipäällikkö, ELOSSA! Luovaa alaa ja hoivakoteja elvyttämässä yhteiskehittämällä -hanke Laura Juvonen Musiikin tutkinnon opettaja, Metropolia Ammattikorkeakoulu Projektityöntekijä, ELOSSA! Luovaa alaa ja hoivakoteja elvyttämässä yhteiskehittämällä -hanke Lähteet: Huhtinen-Hilden, L., Ala-Nikkola, E., Puustelli-Pitkänen, A. & Strandman, P. 2016. Tutkimusraportti. Kohti luovaa arkea. Kulttuurinen vanhustyö asiakaslähtöisyyden edistäjänä. Metropolia Ammattikorkeakoulun julkaisusarja. Huhtinen-Hildén, L. & Lamppu, M. (toim.). (2018). Odottamattomia aarteita. Ilmaisua, leikillisyyttä ja luovaa toimintaa ryhmässä. Helsinki: Metropolia Ammattikorkeakoulu. Humala, I. & Ruohonen, A. 2023. Asiantuntija-artikkeli: Luova toiminta voimaannuttaa sekä hoivakotien asukkaita että työntekijöitä. Kuntalehti.

”Mitä enemmän elämämme kaventuu esimerkiksi iän tai sairauden myötä, sitä enemmän olisi tarpeen laajentaa kokemusmaailmaamme taiteen ja leikin avulla. Kokemukset itsestä luovana olentona voivat rikastaa elämää ja mielikuvitus laajentaa sen ulottuvuuksia arjen rajoitteiden ohi.” Näin kirjoittaa tuoreessa blogipostauksessaan Metropolia AMK:n lehtori, FT Laura Huhtinen-Hildén. Metropolian toteuttamassa Kohti luovaa arkea - kulttuurinen vanhustyö asiakaslähtöisyyden edistäjänä -tutkimushankkeessa selvitettiin, mikä vaikuttaa vanhustyön työntekijöiden mahdollisuuksiin hyödyntää työssään luovuutta, taidetoimintaa ja kulttuurisen vanhustyön näkökulmaa. Tutkimuksessa haastateltiin 14:ää erilaisissa vanhustyön tehtävissä toimivaa työntekijää. Haastateltujen vanhustyön ammattilaisten kokemukset kertovat, että luovuus voi olla monella tavalla läsnä iäkkään ihmisen ja yhteisön elämässä. Tärkeää vanhustyön kehittämisessä on jokaisen työntekijän oman luovuuden löytäminen ja ammattikuvan kehittäminen niin, että herkkyys, luovuus ja vuorovaikutus kuuluvat ammattitaidon ytimeen. Lauran kirjoitus on julkaistu Tikissä-blogissa 5.6.2018. Tikissä-blogi käsittelee tutkimus-, kehitys- ja innovaatiotoimintaa Metropoliassa.

Tekoälypohjainen liikkumisen analysoinnin teknologia tarjoaa lupaavia mahdollisuuksia objektiiviseen ja automaattisen toimintakyvyn arviointiin ja kuntoutustulosten seurantaan. Viime vuosien aikana konenäköön perustuvien ihmiskehon liikkeitä seuraavien mallien tarkkuus ja keveys ovat siirtyneet sellaiselle tasolle, että niitä voidaan käyttää kannettavilla tietokoneilla ja älypuhelimilla. Mallien pohjalta kehitettyjä sovelluksia voidaan jatkossa hyödyntää niin urheiluvalmennuksessa, kliinisessä työssä kuin tutkimuksessakin.   Tausta Metropolia osallistui OKM-rahoitteiseen Verkostoyhteistyöllä vauhtia tekoälypohjaisten virtuaaliteknologioiden saavutettavuuteen kuntoutuksessa -hankkeeseen, jossa etsittiin ja kehitettiin sovelluksia hyödyntäen uusia teknologioita.  Hankkeen tuotoksena Metropolia ammattikorkeakoulun asiantuntijat ja opiskelijat kehittivät yhteistyössä kaksi avoimen lähdekoodin tekoälypohjaista verkkosovellusta, joiden avulla voidaan: analysoida reaaliaikaisesti polven ja lantion asentoa yhden jalan kyykistysliikkeen aikana analysoida sivulta kuvatusta kävelyvideosta alaraajojen suurimpien nivelten kulmamuutoksia.   Asennon tunnistus ja seuranta Ihmisen asentoestimointi (pose estimation) voi kuvailla kyvykkyydeksi tunnistaa ja seurata kehon osia kuvista ja videoista (Zhang et al., 2020). Liikekaappausta on tehty heijastavien, kehoon kiinnitettävien, markkeripallojen avulla jo useita vuosikymmeniä, mutta asentojen ja liikkeiden tarkkaan seuraamiseen on tarvittu laboratorioympäristö, kalliit erikoislaitteet ja koulutettu henkilöstö. Laskentatehon kasvaminen ja konenäön kehittyminen ovat mahdollistaneet asentojen tunnistamisen yhä kevyemmillä välineillä. Markkeriton liikekaappaus, jossa kehon ihmiskehon tunnistaminen tapahtuu suoraan videokuvasta ilman kehon kiinnitettäviä mittalaitteita, perustuu syväopetettujen neuroverkkojen hyödyntämiseen. (Armitano-Lago et al., 2022). Neuroverkkojen opettamiseen on käytetty suuri määrä kuvia ihmisistä ja heidän kehon osista, jotka laskentamalli on oppinut tunnistamaan. Kuva 1 esittää markkeripohjaisen ja markkerittoman liikekaappauksen eroja. [caption id="attachment_3240" align="alignnone" width="376"] Kuva 1. Saman suorituksen vertailu kahdella eri menetelmällä. Vasemmalla markkeripohjainen 3D-malli ja vasemmalla videokuvasta markkerittomalla menetelmällä tunnistetut vasemman jalan nivelpisteet nilkasta, polvesta ja lonkasta. Kuva: Tom Thiel.[/caption] Erilaisia konenäköön perustuvia asennon tunnistus algoritmeja on ollut saatavilla jo vuosikymmenen. Vasta viime aikoina algoritmien nopeus, tarkkuus ja keveys on siirtynyt sellaiselle tasolle, että niitä voidaan hyödyntää tavanomaisilla laitteilla, kuten kannettavilla tietokoneilla ja älypuhelimilla. Raajojen asentojen ja liikkeiden lähes reaaliaikainen seuranta luo mahdollisuuden esimerkiksi objektiiviseen ja automaattisen toimintakyvyn arviointiin ja etäkuntoutukseen. (Cronin et al., 2023; Hellsten et al., 2021)   MediaPipe Pose Google Mediapipe on kokoelma avoimen lähdekoodin paketteja, jotka mahdollistavat konenäköön pohjautuvien sovellusten kehittämisen ohjelmointikielillä kuten Pythonilla tai JavaScriptillä. MediaPipea voidaan hyödyntää esimerkiksi viittomakielen tunnistamiseen, ilmeiden tunnistamiseen ja asennon tunnistamiseen (Mediapipe.io) [caption id="attachment_3241" align="alignnone" width="418"] Kuva 2. MediaPipen asentoestimontimalli perustuu 33 kehonpisteen eli maamerkin seurantaan.[/caption] Asentoestimointia MediaPipe Pose -paketissa on hyödynnetty kevyttä BlazePose -algoritmia (Bazarevsky et al., 2020). Se pystyy arvioimaan 33 kehon pisteen liikkeet yhdeltä henkilöltä, käytännössä mistä tahansa kuvasta tai videosta. Yhdistämällä pisteet toisiinsa, saadaan rakennettua henkilöstä kaksiulotteinen (2D) malli. Tämä malli on kehitetty erityisesti reaaliaikaista seurantaa varten ja sen tunnistuksen viive on vain muutamia kymmeniä millisekunteja. Laskentamallin tarkkuus on säädettävissä. Kevyemmillä asetuksilla mallin laskenta toimiin nopeammin, raskaammilla asetuksilla taas luotettavammin. Mediapipen laskentamalleja on pyritty hyödyntämään esimerkiksi reaaliaikaisessa kuntoiluliikkeiden seurannassa  (Chen et al., 2022), kaatumisen tunnistamisessa (Liu et al., 2022) sekä juoksun aika- ja matkamuuttujien mittaamisessa (Young et al., 2023)   Yhdellä kameralla toteutettu liikeanalyysi Kun ihmisen liikettä kuvataan yhdellä kameralla, pysytään siitä analysoimaan tasossa tapahtuvia liikkeitä. Videopohjaisen 2D-analyysin on todettu olevan hyväksyttävä tapa seurata ihmisen liikkeitä frontaalitasossa eli edestä kuvattuna (Schurr et al., 2017; Werner et al., 2019) ja sagittaalitasossa eli sivulta kuvattuna (Ota et al., 2020). Kiertoliikkeiden tulkinta sen sijaan on haastavaa eivätkä konenäköön perustuvat algoritmit ainakaan tällä hetkellä pysty mittaamaan kuvassa syvyyssunnassa tapahtuvia muutoksia luotettavasti. Tämän haasteen kiertämiseksi onkin kehitetty järjestelmiä, joissa useat synkronoidut ja kalibroidut videokamerat keräävät tietoa kolmiulotteiseen (3D) mallin luomiseksi. Vaikka näiden järjestelmien tarkkuus on todettu pääpiirteittäin luotettavaksi (Kanko et al., 2020; Lahkar et al., 2022), vaativat ne jälleen kalliita laitteita ja teknistä osaamista. Yhtä kameraa hyödyntävien 2D-mallien tarkkuudesta on tehty paljon tutkimusta (Wade et al., 2022). Mallien luotettavuutta on testattu valikoiduissa toimintakyvyn arviointiin liittyvissä testeissä, kuten yhden ja kahden jalan kyykistyksessä (Ota et al., 2020), hyppysuorituksissa, kävelyssä ja juoksussa (Ota et al., 2021; Young et al., 2023) ja vesijuoksun aikana (Cronin et al., 2019). Näillä testeillä on selkeitä käyttömahdollisuuksia toimintakyvyn arvioinnissa kuntoutuksessa. Esimerkiksi yhden jalan kyykistyksessä dynaaminen polven valgus voidaan tulkita epäsuotuisaksi liikemalliksi ja tunnistaa alaraajojen vammoihin liittyväksi riskitekijäksi (Mauntel et al., 2014; Räisänen et al., 2018). Toisaalta kävelystä tehtävä analyysi tuo monipuolisesti esiin mahdollisia liikkumisessa esiintyviä rajoitteita tai poikkeamia. Verkostoyhteistyöhankkeen sovellukset   Verkostohankkeen aikana Metropolian asiantuntijat ja opiskelijat kehittivät yhteistyössä kaksi erilaista JavaScript -sovellusta liiketietojen objektiivisen analysointiin. Tavoitteena oli saavuttaa sovelluksista ensimmäinen toimiva kehitysversio, jonka avulla teknologian toimintaa voitiin arvioida. Sovellusten toimintaan liittyvää pilotointia tehtiin kehitystiimin kesken. Kummankin sovelluksen MVP-toteutus (Minimum Viable Product) on siirretty verkkoon vapaasti saataville ja niiden käyttöönotto onnistuu ilman asennuksia. Sovellusten käyttöliittymät pyrittiin pitämään mahdollisimman yksinkertaisena siten, että jatkossa niistä on mahdollista jalostaa kevyitä ja käytännöllisiä työkaluja, jotka soveltuisivat niin kliinikoille, valmentajille kuin tutkijoillekin.   Yhden jalan kyykky -sovellus Ensimmäinen sovelluksista analysoi yhden jalan kyykistysliikettä ja siinä mahdollisesti tapahtuvaa polven sivuttaissuuntaista siirtymää ja lantion kallistuskulmaa. Liikkeeksi valittiin yhden jalan kyykky, koska se on riittävän yksinkertainen suorittaa ja polven linjauksen analysointi edestä katsottuna on suoraviivaista. Lisäksi liikkeen silmämääräistä havainnointia opetetaan Metropolian fysioterapian ja jalkaterapian tutkinto-ohjelmissa osana toimintakyvyn arviointia, joten sovelluksen ajateltiin lisäävän opiskelijoiden ymmärrystä tekoälypohjaisesta tiedonkeruusta ja analysoinnista. Käyttökohteita tälle sovellukselle ovat esimerkiksi etäkuntoutus, liikehallinnan seulonta ja kyykistysliikkeen harjoittelu biopalautteella. [caption id="attachment_3242" align="alignnone" width="442"] Kuva 3. Kuva polven kulman mittauksesta kyykistysliikkeen aikana. Vasemmalla hyvä liikehallinta, oikealla heikentynyt liikehallinta. Kuva: Tom Thiel.[/caption] Polven valgus-liike tapahtuu kolmiulotteisesti ja siihen liittyy sekä polven sisäkiertoa että abduktiota. Toisaalta on todettu, että pelkkää polven sivuttaissiirtymästä (Kuva 1) mitattua dynaamista valguskulmaa voidaan käyttää luotettavana indikaattorina yhden jalan kyykistysliikkeessä (Mauntel et al., 2014; Oldfather et al., 2020). Niinpä sovellukseen polven frontaalitason kulma määritettiin lonkan ja nilkan nivelpisteiden väliin käyttämällä vektoreiden skalaarituloa (Kaava 1). Kaavaa voidaan käyttää esimerkiksi kolmen pisteen välisen kulman laskemiseen. [caption id="attachment_3243" align="alignnone" width="194"] Vektoreiden skalaaritulo, jossa pisteet A, B ja C edustavat lonkan, polven ja nilkan nivelpisteitä.[/caption] Sovelluksen kehitys lähti liikkeelle kyykkysuorituksia sisältävien YouTube -videoiden analysoinnista. Tämän jälkeen kehitys jatkui Metropolian innovaatioprojektissa, jossa ohjelmistokehityksen opiskelijat rakensivat käyttöliittymän, tietokannan ja raportointityökalun. Opiskelijat Risto-Matti Leivo ja Samuel Ahjoniemi jatkoivat hankkeessa projektiassistentteina siirtäen sovelluksen kokeiluversion verkkoon kaikkien saataville osoitteeseen https://web-sls-test-tool.rahtiapp.fi FUNETin palvelimet tarjosivat tietoturvallisen ja luotettavan ratkaisun ohjelmistokontin säilytykseen. Sovelluksessa käyttöliittymästä voidaan valita mitattava polvi (vasen / oikea) ja sen jälkeen määritetään haluttu toistojen määrä. Itse mittauksen aikana 2D-malli skaalautuu henkilön koon mukaan ja antaa sekä visuaalisen että auditiivisen palautteen, kun kyykistyminen on riittävän syvä. Toistot lasketaan lonkkanivelen ja nilkkanivelen suhteellisen etäisyyden muutoksista. Mittauksen aikana suoritettujen toistojen määrä näkyy näytöllä. Raportoinnissa (Kuva 2) toistot on interpoloitu 101 (0–100) datapisteeseen. Toistoja voidaan tarkastella graafisesti raportilta ja verrata niiden yhdenmukaisuutta. Käyttöliittymän kautta suoritusta voi toistaa myös videotallenteena. Tietosuojasyistä tunnisteellinen videoaineisto tuhotaan session päätyttyä. Mallista tallennetut koordinaattitiedot sen sijaan säilyvät tietokannassa, ja ne voidaan tuoda CSV-muodossa tutkimuskäyttöä varten. [caption id="attachment_3244" align="alignnone" width="199"] Kuva 4. Kyykkysovelluksen esimerkkiraportti viiden toiston suorituksesta vasemmalla jalalla. Toistoista neljässä ensimmäisessä liikehallinta on ollut hyväksyttävällä tasolla, mutta viidennessä polven kulma on kääntynyt yli 20 astetta valgus-asentoon.[/caption] Kokonaisuudessaan kyykkysovelluksen käyttö on tehty hyvin yksinkertaiseksi ja se mahdollistaa nopeat kokeilut. Käyttöliittymän ja raportoinnin jatkokehitystä tullaan tekemään asiantuntijapalautteen perusteella.   Kävelysovellus Toinen hankkeessa kehitetty sovellus pyrkii analysoimaan sivulta kuvatusta kävelystä alaraajojen suurimmat nivelkulmamuutokset ojennus- ja koukistussuunnassa.  Näitä tietoja voidaan hyödyntää esimerkiksi kävelyn aikaisten puolierojen arviointiin. Sovellus analysoi ennalta kuvattuja videoita. Se käy kuva kerrallaan läpi valikoidun videon, kerää talteen maamerkkien koordinaatit, tunnistaa niistä automaattisesti kävelysuunnan, laskee nivelten väliset kulmat, jaksottaa kulmamuutokset askelsykleihin ja tuottaa aineistosta raportin. Käsittely kestää tavanomaisella tietokoneella (i5-1145, 16 GB) noin kaksikymmentä sekuntia. Analysointi tehdään paikallisesti eli videota ei lähetä verkon yli. Tämä nopeuttaa sovelluksen toimintaa ja parantaa sen tietoturvaa. Analysoinnin nopeutta voidaan lisätä käyttämällä tietokonetta, jossa on erillinen grafiikkasuoritin. Sovellusta pääsee kokeilemaan osoitteessa https://s-gait.rahtiapp.fi/ [caption id="attachment_3245" align="alignnone" width="553"] Kuva 5. Askellussovelluksen tietojen käsittely. Kuva: Tom Thiel.[/caption] Mielenkiintoinen vaihe sovelluksen kehityksessä liittyi askelsyklin automaattiseen tunnistukseen. Askelsykli mitataan kahden identtisen tapahtuman, esimerkiksi kantakosketuksen, väliltä. Sovelluksessa käytettiin askeltapahtumien määrittämiseen lonkka-, varvas- ja nilkkanivelten siirtymiä eteen-taakse suunnassa eli kuvakoordinaatiston x-akselilla. Tukivaiheen alku määritettiin hetkestä, jolloin lonkan ja kantapään etäisyys ovat maksimissa vartalon etupuolella. Tukivaiheen päättymien puolestaan määritettiin hetkestä, jolloin varpaiden ja lonkan pisteiden etäisyys ovat maksimissa vartalon takana. Tällaisen menetelmän on todettu tunnistavan kriittiset askellustapahtumat yhden ruudun tarkkuudella 94 % tapauksista. (Zeni et al., 2008) [caption id="attachment_3246" align="alignnone" width="456"] Kuva 6. Kaksi ruudunkaappausta kävelysovelluksen käyttöliittymästä. Vasemmalla kuvassa näkyy videon valinta ja asetustyökalut. Oikealla kuvassa on analysointi käynnissä. Kuva: Tom Thiel.[/caption] Sovellus analysoi molempien alaraajojen suurimpia nivelkulmia sagittaalitasossa. Mittausta varten polven kulma määritettiin samalla tavalla kuin kyykkysovelluksessa. Lonkan ja nilkan osalta kulmien määrittäminen oli haastavampaa, sillä MediaPipen -mallista puuttui oleellisia maamerkkejä tyypillisten kliinisten nivelkulmalaskelmien tekemiseksi. Nilkan ojennus ja koukistuskulmat määriteltiin vertaamalla sääriluun asentoa varpaiden ja kannan väliseen linjaan. Lonkan nivelkulma määriteltiin polven, lonkan ja hartian välille. Sovelluksen toimintaa pilotointiin eri ympäristöissä, eri laatuisilla videoilla, eri kävelynopeuksilla ja muutamilla eri koehenkilöillä. Pilotoinnin yhteydessä huomattiin, että mallia kannattaa ajaa sen raskaimmilla asetuksilla, koska se lisää huomattavasti maamerkkien tunnistamisen ja seurannan luotettavuutta. Toisaalta raskaampi laskentamalli ei hidasta juuri lainakan käsittelyaikaa. Pilotoinnin tuloksena voidaan todeta, että polven osalta sovelluksen mittausta voidaan pitää jokseenkin luotettavana ja tulokset eri kävelynopeuksilla ja ympäristöissä antavat kohtuullisen toistettavia arvoja. Vastaavaan tulokseen on päädytty myös toisessa tutkimuksessa, jossa MediaPipe -mallia on hyödynnetty juoksumatolla (Young et al., 2023). Lonkan osalta mittauksen tuottama käyrä on normaalin muotoista, mutta astelukemat poikkeavat huomattavasti kävelymatolla mitatuista normaaliarvoista (Fukuchi et al., 2018). Nilkan osalta mittaus niin ikään näyttää tyypillisen muotoiselta, mutta vaihteluväli on kaksinkertainen verrattuna normaaliin (Fukuchi et al., 2018). Jotta lonkan mittaus saataisiin luotettavammaksi, täytyisi alaselästä löytyä seurattava maamerkki. Nilkan epätarkkuuteen vaikuttaa puolestaan eniten se, että maamerkkien seuranta ei pysy vakaana. Toinen huomionarvoinen tekijä nilkan seurannassa on, että kannan ja varpaiden välille asetettava suora linja ei lähtökohtaisesti tunnista varpaiden ojentumista päätöstukivaiheessa. Parempi seurattava maamerkki kävelyn kannalta olisikin 2. metatarsaalipää.   Lopuksi Verkostohankkeessa kehitettiin kaksi sovellusta, jotka hyödynsivät avoimen MediaPipen Pose -mallia. Ensimmäinen sovelluksista mittasi polven dynaamista valgus-kulmaa. Toinen analysoi kävelyä sivulta. Pilotoinnin tuloksena todettiin, että polven dynaamisen valgus-kulman mittaus MediaPipen avulla on lupaava tapa seurata kyykistysliikkeen laatua ja antaa siitä objektiivista palautetta. Sen sijaan kävelyyn liittyen MediaPipen seurantatarkkuus ja maamerkkien sijainti eivät olleet optimaalisia. Tämä saattaa johtua siitä, että avoimen lähdekoodin mallit eivät ole alun perin suunniteltu biomekaniikkasovelluksiin, joten datasetit ja nivelkeskipisteiden sijainnit, joilla ne on koulutettu, ovat epätarkkoja ja antavat epäjohdonmukaisia tuloksia (Wade et al., 2022). Tästä huolimatta markkeritonta liikekaappausta voidaan pitää lupaavana teknologiana, jonka avulla pystytään jatkossa siirtämään mittauksia laboratorion ulkopuolelle. MediaPipen mallia onkin onnistuneesti hyödynnetty juoksussa aika- ja matkamuuttujien seurantaan hyvällä tarkkuudella (Young et al., 2023). Työ markkerittoman liikekaappauksen luotettavuuden ja tekoälypohjaisten liikeanalyysisovellusten kehittämisen parissa jatkuu Metropolian liikelaboratoriossa Kuntoutus- ja tutkiminen -osaamisalueen rahoittamana. Ensinnäkin vuoden 2023 aikana selvitetään tämän hankkeen sovelluksien taustalla toimivan BlazePose -algoritmin toistettavuutta ja luotettavuutta 3D-liikeanalyysijärjestelmää vasten. Toiseksi saksalainen Contemplas on kehittänyt nimenomaan kävelyyn ja juoksuun soveltuvan 2D-mallin, jonka suorituskykyä tullaan testaamaan. Kolmanneksi Hytke-hankkeeseen (https://hytke.metropolia.fi/) liittyen kyykkysovelluksen jatkokehitystä varten tullaan keräämään asiantuntijalausuntoja kliinikoilta, valmentajilta ja tutkijoilta. Jatkokehityksessä keskitytään sovellusten käyttöliittymien ja käytettävyyden parantamiseen.   Tekninen sanasto Termi Selite Konenäkö Automaattiseen kuvankäsittelyyn perustuva tietokoneohjelma, joka tulkitsee kuvavirtaa ja pyrkii tunnistamaan siitä itselleen tuttuja piirteitä, kuten esimerkiksi ihmiskehon, kasvot ja raajat. Käsittelyn aikana kuvavirta muutetaan numeeriseen muotoon, jota voidaan hyödyntää analyyseihin ja päätöksentekoon. Asentoestimointi Konenäköön pohjautuvat tekniikka, joka pyrkii ennustamaan ja seuraamaan ihmisen tai esineen asentoja ja sijaintia. Ihmisen asentoestimoinnissa konenäkömalli pyrkii yhdistämään eri osista (esim. käsistä ja jaloista) saatavia tietoja ja rakentamaan niistä yhtenäisen mallin. Markkeripohjainen liikekaappaus Ihmisen kehon liikkeiden objektiivista seurantaa ja tallentamista. Menetelmä perustuu heijastavien markkeripallojen seuraamiseen. Pallot on kiinnitetty ihon pintaan kaksipuoleisella teipillä.  Menetelmää käytetään niin biomekaaniseen mallintamiseen, mutta myös liikkeen tuottamiseen peli- ja elokuvahahmoille. Tuloksena saadaan kolmiulotteista tietoa kehon osien koordinaateista, joita voidaan hyödyntää asentojen tunnistamisessa ja liikkeen seuraamisessa. Markkeriton liikekaappaus Konenäköön pohjautuva menetelmä, jossa yhdestä tai useammasta videokuvasta tunnistetaan ihmishahmo ja seurataan sen liikkeitä objektiivisesti. MediaPipe Googlen julkaisema paketti avoimen lähdekoodin tekoälymalleja. MediaPipe helpottaa valmiiden tekoälymallien käyttöönottoa ja niiden intergrointia sovelluksiin. Paketti sisältää malleja mm.  kehon liikkeiden seurantaa tai tarkemmin jonkin kehon osan, kuten vaikkapa sormien nivelten tai silmien liikkeiden seurantaan. BlazePose BlazePose on Googlen kehittämä koko kehon asentojen tunnistusalgoritmi, joka pystyy havaitsemaan ihmisen kehosta 33 eri kohdan sijainnit kuvassa tai videossa. BlazePose on yksi osa MediaPipe -pakettia. Ohjelmistokontti Ohjelmistokontit ovat standardoitu tapa pakata ohjelmisto siten, että sitä voidaan siirtää paikasta toiseen ilman, että ohjelmistoa tarvitsee muokata. Koodi on usein riippuvainen erilaisista kirjastoista, lisäosista ja asetuksista. Konttiin pakattuna kaikki osat matkustavat käyttövalmiina.   FUNET Funet (Finnish University and Research Network) on Suomen korkeakoulujen, tutkimuksen ja opetuksen tietoverkko. Funetissa on noin 80 tutkimusorganisaatiota ja noin 370 000 käyttäjää. Se tarjoaa käyttäjilleen nopeat ja tietoturvalliset palvelut esimerkiksi tiedostojen ja ohjelmistojen säilytykseen.     Kirjoittajat: Tom Thiel, laboratorioinsinööri, Metropolia AMK Anu Valtonen, yliopettaja, Metropolia AMK   Lähteet Armitano-Lago, C., Willoughby, D., & Kiefer, A. W. (2022). A SWOT Analysis of Portable and Low-Cost Markerless Motion Capture Systems to Assess Lower-Limb Musculoskeletal Kinematics in Sport. Frontiers in Sports and Active Living, 3. Bazarevsky, V., Grishchenko, I., Raveendran, K., Zhu, T., Zhang, F., & Grundmann, M. (2020). BlazePose: On-device Real-time Body Pose tracking (arXiv:2006.10204). arXiv. Chen, K.-Y., Shin, J., Hasan, M. A. M., Liaw, J.-J., Yuichi, O., & Tomioka, Y. (2022). Fitness Movement Types and Completeness Detection Using a Transfer-Learning-Based Deep Neural Network. Sensors (Basel, Switzerland), 22(15), 5700. Cronin, N. J., Mansoubi, M., Hannink, E., Waller, B., & Dawes, H. (2023). Accuracy of a computer vision system for estimating biomechanical measures of body function in axial spondyloarthropathy patients and healthy subjects. Clinical Rehabilitation, 02692155221150133. Cronin, N. J., Rantalainen, T., Ahtiainen, J. P., Hynynen, E., & Waller, B. (2019). Markerless 2D kinematic analysis of underwater running: A deep learning approach. Journal of Biomechanics, 87, 75–82. Fukuchi, C. A., Fukuchi, R. K., & Duarte, M. (2018). A public dataset of overground and treadmill walking kinematics and kinetics in healthy individuals. PeerJ, 6, e4640. Hellsten, T., Karlsson, J., Shamsuzzaman, M., & Pulkkis, G. (2021). The Potential of Computer Vision-Based Marker-Less Human Motion Analysis for Rehabilitation. Rehabilitation Process and Outcome, 10, 11795727211022330. Kanko, R., Laende, E. K., Davis, E. M., Selbie, W. S., & Deluzio, K. J. (2020). Concurrent assessment of gait kinematics using marker-based and markerless motion capture [Preprint]. Bioengineering. Lahkar, B. K., Muller, A., Dumas, R., Reveret, L., & Robert, T. (2022). Accuracy of a markerless motion capture system in estimating upper extremity kinematics during boxing. Frontiers in Sports and Active Living, 4. Liu, W., Liu, X., Hu, Y., Shi, J., Chen, X., Zhao, J., Wang, S., & Hu, Q. (2022). Fall Detection for Shipboard Seafarers Based on Optimized BlazePose and LSTM. Sensors (Basel, Switzerland), 22(14), 5449. Mauntel, T. C., Frank, B. S., Begalle, R. L., Blackburn, J. T., & Padua, D. A. (2014). Kinematic differences between those with and without medial knee displacement during a single-leg squat. Journal of Applied Biomechanics, 30(6), 707–712. Oldfather, T., Zabala, M., Goodlett, M., & Murrah, W. (Hank). (2020). Knee Valgus Versus Knee Abduction Angle: Comparative Analysis of Medial Knee Collapse Definitions in Female Athletes. Journal of Biomechanical Engineering, 142(12). Ota, M., Tateuchi, H., Hashiguchi, T., & Ichihashi, N. (2021). Verification of validity of gait analysis systems during treadmill walking and running using human pose tracking algorithm. Gait & Posture, 85, 290–297. Ota, M., Tateuchi, H., Hashiguchi, T., Kato, T., Ogino, Y., Yamagata, M., & Ichihashi, N. (2020). Verification of reliability and validity of motion analysis systems during bilateral squat using human pose tracking algorithm. Gait & Posture, 80, 62–67. Räisänen, A. M., Pasanen, K., Krosshaug, T., Vasankari, T., Kannus, P., Heinonen, A., Kujala, U. M., Avela, J., Perttunen, J., & Parkkari, J. (2018). Association between frontal plane knee control and lower extremity injuries: A prospective study on young team sport athletes. BMJ Open Sport & Exercise Medicine, 4(1), e000311. Schurr, S. A., Marshall, A. N., Resch, J. E., & Saliba, S. A. (2017). TWO-DIMENSIONAL VIDEO ANALYSIS IS COMPARABLE TO 3D MOTION CAPTURE IN LOWER EXTREMITY MOVEMENT ASSESSMENT. International Journal of Sports Physical Therapy, 12(2), 163–172. Wade, L., Needham, L., McGuigan, P., & Bilzon, J. (2022). Applications and limitations of current markerless motion capture methods for clinical gait biomechanics. PeerJ, 10, e12995. Werner, D. M., Di Stasi, S., Lewis, C. L., & Barrios, J. A. (2019). Test-retest reliability and minimum detectable change for various frontal plane projection angles during dynamic tasks. Physical Therapy in Sport: Official Journal of the Association of Chartered Physiotherapists in Sports Medicine, 40, 169–176. Young, F., Mason, R., Morris, R., Stuart, S., & Godfrey, A. (2023). Internet-of-Things-Enabled Markerless Running Gait Assessment from a Single Smartphone Camera. Sensors, 23(2), Article 2. Zeni, J. A., Richards, J. G., & Higginson, J. S. (2008). Two simple methods for determining gait events during treadmill and overground walking using kinematic data. Gait & Posture, 27(4), 710–714. Zhang, F., Zhu, X., Dai, H., Ye, M., & Zhu, C. (2020). Distribution-Aware Coordinate Representation for Human Pose Estimation. 7093–7102.