Tekoälypohjaista liikeanalyysia voi hyödyntää toimintakyvyn arvioinnissa
21.4.2023
Rehablogi
Tekoälypohjainen liikkumisen analysoinnin teknologia tarjoaa lupaavia mahdollisuuksia objektiiviseen ja automaattisen toimintakyvyn arviointiin ja kuntoutustulosten seurantaan. Viime vuosien aikana konenäköön perustuvien ihmiskehon liikkeitä seuraavien mallien tarkkuus ja keveys ovat siirtyneet sellaiselle tasolle, että niitä voidaan käyttää kannettavilla tietokoneilla ja älypuhelimilla. Mallien pohjalta kehitettyjä sovelluksia voidaan jatkossa hyödyntää niin urheiluvalmennuksessa, kliinisessä työssä kuin tutkimuksessakin.
Tausta
Metropolia osallistui OKM-rahoitteiseen Verkostoyhteistyöllä vauhtia tekoälypohjaisten virtuaaliteknologioiden saavutettavuuteen kuntoutuksessa -hankkeeseen, jossa etsittiin ja kehitettiin sovelluksia hyödyntäen uusia teknologioita. Hankkeen tuotoksena Metropolia ammattikorkeakoulun asiantuntijat ja opiskelijat kehittivät yhteistyössä kaksi avoimen lähdekoodin tekoälypohjaista verkkosovellusta, joiden avulla voidaan:
analysoida reaaliaikaisesti polven ja lantion asentoa yhden jalan kyykistysliikkeen aikana
analysoida sivulta kuvatusta kävelyvideosta alaraajojen suurimpien nivelten kulmamuutoksia.
Asennon tunnistus ja seuranta
Ihmisen asentoestimointi (pose estimation) voi kuvailla kyvykkyydeksi tunnistaa ja seurata kehon osia kuvista ja videoista (Zhang et al., 2020). Liikekaappausta on tehty heijastavien, kehoon kiinnitettävien, markkeripallojen avulla jo useita vuosikymmeniä, mutta asentojen ja liikkeiden tarkkaan seuraamiseen on tarvittu laboratorioympäristö, kalliit erikoislaitteet ja koulutettu henkilöstö.
Laskentatehon kasvaminen ja konenäön kehittyminen ovat mahdollistaneet asentojen tunnistamisen yhä kevyemmillä välineillä. Markkeriton liikekaappaus, jossa kehon ihmiskehon tunnistaminen tapahtuu suoraan videokuvasta ilman kehon kiinnitettäviä mittalaitteita, perustuu syväopetettujen neuroverkkojen hyödyntämiseen. (Armitano-Lago et al., 2022).
Neuroverkkojen opettamiseen on käytetty suuri määrä kuvia ihmisistä ja heidän kehon osista, jotka laskentamalli on oppinut tunnistamaan. Kuva 1 esittää markkeripohjaisen ja markkerittoman liikekaappauksen eroja.
[caption id="attachment_3240" align="alignnone" width="376"] Kuva 1. Saman suorituksen vertailu kahdella eri menetelmällä. Vasemmalla markkeripohjainen 3D-malli ja vasemmalla videokuvasta markkerittomalla menetelmällä tunnistetut vasemman jalan nivelpisteet nilkasta, polvesta ja lonkasta. Kuva: Tom Thiel.[/caption]
Erilaisia konenäköön perustuvia asennon tunnistus algoritmeja on ollut saatavilla jo vuosikymmenen. Vasta viime aikoina algoritmien nopeus, tarkkuus ja keveys on siirtynyt sellaiselle tasolle, että niitä voidaan hyödyntää tavanomaisilla laitteilla, kuten kannettavilla tietokoneilla ja älypuhelimilla. Raajojen asentojen ja liikkeiden lähes reaaliaikainen seuranta luo mahdollisuuden esimerkiksi objektiiviseen ja automaattisen toimintakyvyn arviointiin ja etäkuntoutukseen. (Cronin et al., 2023; Hellsten et al., 2021)
MediaPipe Pose
Google Mediapipe on kokoelma avoimen lähdekoodin paketteja, jotka mahdollistavat konenäköön pohjautuvien sovellusten kehittämisen ohjelmointikielillä kuten Pythonilla tai JavaScriptillä. MediaPipea voidaan hyödyntää esimerkiksi viittomakielen tunnistamiseen, ilmeiden tunnistamiseen ja asennon tunnistamiseen (Mediapipe.io)
[caption id="attachment_3241" align="alignnone" width="418"] Kuva 2. MediaPipen asentoestimontimalli perustuu 33 kehonpisteen eli maamerkin seurantaan.[/caption]
Asentoestimointia MediaPipe Pose -paketissa on hyödynnetty kevyttä BlazePose -algoritmia (Bazarevsky et al., 2020). Se pystyy arvioimaan 33 kehon pisteen liikkeet yhdeltä henkilöltä, käytännössä mistä tahansa kuvasta tai videosta. Yhdistämällä pisteet toisiinsa, saadaan rakennettua henkilöstä kaksiulotteinen (2D) malli. Tämä malli on kehitetty erityisesti reaaliaikaista seurantaa varten ja sen tunnistuksen viive on vain muutamia kymmeniä millisekunteja. Laskentamallin tarkkuus on säädettävissä. Kevyemmillä asetuksilla mallin laskenta toimiin nopeammin, raskaammilla asetuksilla taas luotettavammin.
Mediapipen laskentamalleja on pyritty hyödyntämään esimerkiksi reaaliaikaisessa kuntoiluliikkeiden seurannassa (Chen et al., 2022), kaatumisen tunnistamisessa (Liu et al., 2022) sekä juoksun aika- ja matkamuuttujien mittaamisessa (Young et al., 2023)
Yhdellä kameralla toteutettu liikeanalyysi
Kun ihmisen liikettä kuvataan yhdellä kameralla, pysytään siitä analysoimaan tasossa tapahtuvia liikkeitä. Videopohjaisen 2D-analyysin on todettu olevan hyväksyttävä tapa seurata ihmisen liikkeitä frontaalitasossa eli edestä kuvattuna (Schurr et al., 2017; Werner et al., 2019) ja sagittaalitasossa eli sivulta kuvattuna (Ota et al., 2020).
Kiertoliikkeiden tulkinta sen sijaan on haastavaa eivätkä konenäköön perustuvat algoritmit ainakaan tällä hetkellä pysty mittaamaan kuvassa syvyyssunnassa tapahtuvia muutoksia luotettavasti. Tämän haasteen kiertämiseksi onkin kehitetty järjestelmiä, joissa useat synkronoidut ja kalibroidut videokamerat keräävät tietoa kolmiulotteiseen (3D) mallin luomiseksi. Vaikka näiden järjestelmien tarkkuus on todettu pääpiirteittäin luotettavaksi (Kanko et al., 2020; Lahkar et al., 2022), vaativat ne jälleen kalliita laitteita ja teknistä osaamista.
Yhtä kameraa hyödyntävien 2D-mallien tarkkuudesta on tehty paljon tutkimusta (Wade et al., 2022). Mallien luotettavuutta on testattu valikoiduissa toimintakyvyn arviointiin liittyvissä testeissä, kuten yhden ja kahden jalan kyykistyksessä (Ota et al., 2020), hyppysuorituksissa, kävelyssä ja juoksussa (Ota et al., 2021; Young et al., 2023) ja vesijuoksun aikana (Cronin et al., 2019).
Näillä testeillä on selkeitä käyttömahdollisuuksia toimintakyvyn arvioinnissa kuntoutuksessa. Esimerkiksi yhden jalan kyykistyksessä dynaaminen polven valgus voidaan tulkita epäsuotuisaksi liikemalliksi ja tunnistaa alaraajojen vammoihin liittyväksi riskitekijäksi (Mauntel et al., 2014; Räisänen et al., 2018). Toisaalta kävelystä tehtävä analyysi tuo monipuolisesti esiin mahdollisia liikkumisessa esiintyviä rajoitteita tai poikkeamia.
Verkostoyhteistyöhankkeen sovellukset
Verkostohankkeen aikana Metropolian asiantuntijat ja opiskelijat kehittivät yhteistyössä kaksi erilaista JavaScript -sovellusta liiketietojen objektiivisen analysointiin. Tavoitteena oli saavuttaa sovelluksista ensimmäinen toimiva kehitysversio, jonka avulla teknologian toimintaa voitiin arvioida. Sovellusten toimintaan liittyvää pilotointia tehtiin kehitystiimin kesken.
Kummankin sovelluksen MVP-toteutus (Minimum Viable Product) on siirretty verkkoon vapaasti saataville ja niiden käyttöönotto onnistuu ilman asennuksia. Sovellusten käyttöliittymät pyrittiin pitämään mahdollisimman yksinkertaisena siten, että jatkossa niistä on mahdollista jalostaa kevyitä ja käytännöllisiä työkaluja, jotka soveltuisivat niin kliinikoille, valmentajille kuin tutkijoillekin.
Yhden jalan kyykky -sovellus
Ensimmäinen sovelluksista analysoi yhden jalan kyykistysliikettä ja siinä mahdollisesti tapahtuvaa polven sivuttaissuuntaista siirtymää ja lantion kallistuskulmaa. Liikkeeksi valittiin yhden jalan kyykky, koska se on riittävän yksinkertainen suorittaa ja polven linjauksen analysointi edestä katsottuna on suoraviivaista. Lisäksi liikkeen silmämääräistä havainnointia opetetaan Metropolian fysioterapian ja jalkaterapian tutkinto-ohjelmissa osana toimintakyvyn arviointia, joten sovelluksen ajateltiin lisäävän opiskelijoiden ymmärrystä tekoälypohjaisesta tiedonkeruusta ja analysoinnista. Käyttökohteita tälle sovellukselle ovat esimerkiksi etäkuntoutus, liikehallinnan seulonta ja kyykistysliikkeen harjoittelu biopalautteella.
[caption id="attachment_3242" align="alignnone" width="442"] Kuva 3. Kuva polven kulman mittauksesta kyykistysliikkeen aikana. Vasemmalla hyvä liikehallinta, oikealla heikentynyt liikehallinta. Kuva: Tom Thiel.[/caption]
Polven valgus-liike tapahtuu kolmiulotteisesti ja siihen liittyy sekä polven sisäkiertoa että abduktiota. Toisaalta on todettu, että pelkkää polven sivuttaissiirtymästä (Kuva 1) mitattua dynaamista valguskulmaa voidaan käyttää luotettavana indikaattorina yhden jalan kyykistysliikkeessä (Mauntel et al., 2014; Oldfather et al., 2020). Niinpä sovellukseen polven frontaalitason kulma määritettiin lonkan ja nilkan nivelpisteiden väliin käyttämällä vektoreiden skalaarituloa (Kaava 1). Kaavaa voidaan käyttää esimerkiksi kolmen pisteen välisen kulman laskemiseen.
[caption id="attachment_3243" align="alignnone" width="194"] Vektoreiden skalaaritulo, jossa pisteet A, B ja C edustavat lonkan, polven ja nilkan nivelpisteitä.[/caption]
Sovelluksen kehitys lähti liikkeelle kyykkysuorituksia sisältävien YouTube -videoiden analysoinnista. Tämän jälkeen kehitys jatkui Metropolian innovaatioprojektissa, jossa ohjelmistokehityksen opiskelijat rakensivat käyttöliittymän, tietokannan ja raportointityökalun. Opiskelijat Risto-Matti Leivo ja Samuel Ahjoniemi jatkoivat hankkeessa projektiassistentteina siirtäen sovelluksen kokeiluversion verkkoon kaikkien saataville osoitteeseen https://web-sls-test-tool.rahtiapp.fi FUNETin palvelimet tarjosivat tietoturvallisen ja luotettavan ratkaisun ohjelmistokontin säilytykseen.
Sovelluksessa käyttöliittymästä voidaan valita mitattava polvi (vasen / oikea) ja sen jälkeen määritetään haluttu toistojen määrä. Itse mittauksen aikana 2D-malli skaalautuu henkilön koon mukaan ja antaa sekä visuaalisen että auditiivisen palautteen, kun kyykistyminen on riittävän syvä. Toistot lasketaan lonkkanivelen ja nilkkanivelen suhteellisen etäisyyden muutoksista.
Mittauksen aikana suoritettujen toistojen määrä näkyy näytöllä. Raportoinnissa (Kuva 2) toistot on interpoloitu 101 (0–100) datapisteeseen. Toistoja voidaan tarkastella graafisesti raportilta ja verrata niiden yhdenmukaisuutta. Käyttöliittymän kautta suoritusta voi toistaa myös videotallenteena. Tietosuojasyistä tunnisteellinen videoaineisto tuhotaan session päätyttyä. Mallista tallennetut koordinaattitiedot sen sijaan säilyvät tietokannassa, ja ne voidaan tuoda CSV-muodossa tutkimuskäyttöä varten.
[caption id="attachment_3244" align="alignnone" width="199"] Kuva 4. Kyykkysovelluksen esimerkkiraportti viiden toiston suorituksesta vasemmalla jalalla. Toistoista neljässä ensimmäisessä liikehallinta on ollut hyväksyttävällä tasolla, mutta viidennessä polven kulma on kääntynyt yli 20 astetta valgus-asentoon.[/caption]
Kokonaisuudessaan kyykkysovelluksen käyttö on tehty hyvin yksinkertaiseksi ja se mahdollistaa nopeat kokeilut. Käyttöliittymän ja raportoinnin jatkokehitystä tullaan tekemään asiantuntijapalautteen perusteella.
Kävelysovellus
Toinen hankkeessa kehitetty sovellus pyrkii analysoimaan sivulta kuvatusta kävelystä alaraajojen suurimmat nivelkulmamuutokset ojennus- ja koukistussuunnassa. Näitä tietoja voidaan hyödyntää esimerkiksi kävelyn aikaisten puolierojen arviointiin. Sovellus analysoi ennalta kuvattuja videoita. Se käy kuva kerrallaan läpi valikoidun videon, kerää talteen maamerkkien koordinaatit, tunnistaa niistä automaattisesti kävelysuunnan, laskee nivelten väliset kulmat, jaksottaa kulmamuutokset askelsykleihin ja tuottaa aineistosta raportin. Käsittely kestää tavanomaisella tietokoneella (i5-1145, 16 GB) noin kaksikymmentä sekuntia.
Analysointi tehdään paikallisesti eli videota ei lähetä verkon yli. Tämä nopeuttaa sovelluksen toimintaa ja parantaa sen tietoturvaa. Analysoinnin nopeutta voidaan lisätä käyttämällä tietokonetta, jossa on erillinen grafiikkasuoritin. Sovellusta pääsee kokeilemaan osoitteessa https://s-gait.rahtiapp.fi/
[caption id="attachment_3245" align="alignnone" width="553"] Kuva 5. Askellussovelluksen tietojen käsittely. Kuva: Tom Thiel.[/caption]
Mielenkiintoinen vaihe sovelluksen kehityksessä liittyi askelsyklin automaattiseen tunnistukseen. Askelsykli mitataan kahden identtisen tapahtuman, esimerkiksi kantakosketuksen, väliltä. Sovelluksessa käytettiin askeltapahtumien määrittämiseen lonkka-, varvas- ja nilkkanivelten siirtymiä eteen-taakse suunnassa eli kuvakoordinaatiston x-akselilla. Tukivaiheen alku määritettiin hetkestä, jolloin lonkan ja kantapään etäisyys ovat maksimissa vartalon etupuolella. Tukivaiheen päättymien puolestaan määritettiin hetkestä, jolloin varpaiden ja lonkan pisteiden etäisyys ovat maksimissa vartalon takana. Tällaisen menetelmän on todettu tunnistavan kriittiset askellustapahtumat yhden ruudun tarkkuudella 94 % tapauksista. (Zeni et al., 2008)
[caption id="attachment_3246" align="alignnone" width="456"] Kuva 6. Kaksi ruudunkaappausta kävelysovelluksen käyttöliittymästä. Vasemmalla kuvassa näkyy videon valinta ja asetustyökalut. Oikealla kuvassa on analysointi käynnissä. Kuva: Tom Thiel.[/caption]
Sovellus analysoi molempien alaraajojen suurimpia nivelkulmia sagittaalitasossa. Mittausta varten polven kulma määritettiin samalla tavalla kuin kyykkysovelluksessa. Lonkan ja nilkan osalta kulmien määrittäminen oli haastavampaa, sillä MediaPipen -mallista puuttui oleellisia maamerkkejä tyypillisten kliinisten nivelkulmalaskelmien tekemiseksi. Nilkan ojennus ja koukistuskulmat määriteltiin vertaamalla sääriluun asentoa varpaiden ja kannan väliseen linjaan.
Lonkan nivelkulma määriteltiin polven, lonkan ja hartian välille. Sovelluksen toimintaa pilotointiin eri ympäristöissä, eri laatuisilla videoilla, eri kävelynopeuksilla ja muutamilla eri koehenkilöillä. Pilotoinnin yhteydessä huomattiin, että mallia kannattaa ajaa sen raskaimmilla asetuksilla, koska se lisää huomattavasti maamerkkien tunnistamisen ja seurannan luotettavuutta. Toisaalta raskaampi laskentamalli ei hidasta juuri lainakan käsittelyaikaa.
Pilotoinnin tuloksena voidaan todeta, että polven osalta sovelluksen mittausta voidaan pitää jokseenkin luotettavana ja tulokset eri kävelynopeuksilla ja ympäristöissä antavat kohtuullisen toistettavia arvoja. Vastaavaan tulokseen on päädytty myös toisessa tutkimuksessa, jossa MediaPipe -mallia on hyödynnetty juoksumatolla (Young et al., 2023). Lonkan osalta mittauksen tuottama käyrä on normaalin muotoista, mutta astelukemat poikkeavat huomattavasti kävelymatolla mitatuista normaaliarvoista (Fukuchi et al., 2018).
Nilkan osalta mittaus niin ikään näyttää tyypillisen muotoiselta, mutta vaihteluväli on kaksinkertainen verrattuna normaaliin (Fukuchi et al., 2018). Jotta lonkan mittaus saataisiin luotettavammaksi, täytyisi alaselästä löytyä seurattava maamerkki. Nilkan epätarkkuuteen vaikuttaa puolestaan eniten se, että maamerkkien seuranta ei pysy vakaana. Toinen huomionarvoinen tekijä nilkan seurannassa on, että kannan ja varpaiden välille asetettava suora linja ei lähtökohtaisesti tunnista varpaiden ojentumista päätöstukivaiheessa. Parempi seurattava maamerkki kävelyn kannalta olisikin 2. metatarsaalipää.
Lopuksi
Verkostohankkeessa kehitettiin kaksi sovellusta, jotka hyödynsivät avoimen MediaPipen Pose -mallia. Ensimmäinen sovelluksista mittasi polven dynaamista valgus-kulmaa. Toinen analysoi kävelyä sivulta.
Pilotoinnin tuloksena todettiin, että polven dynaamisen valgus-kulman mittaus MediaPipen avulla on lupaava tapa seurata kyykistysliikkeen laatua ja antaa siitä objektiivista palautetta. Sen sijaan kävelyyn liittyen MediaPipen seurantatarkkuus ja maamerkkien sijainti eivät olleet optimaalisia. Tämä saattaa johtua siitä, että avoimen lähdekoodin mallit eivät ole alun perin suunniteltu biomekaniikkasovelluksiin, joten datasetit ja nivelkeskipisteiden sijainnit, joilla ne on koulutettu, ovat epätarkkoja ja antavat epäjohdonmukaisia tuloksia (Wade et al., 2022).
Tästä huolimatta markkeritonta liikekaappausta voidaan pitää lupaavana teknologiana, jonka avulla pystytään jatkossa siirtämään mittauksia laboratorion ulkopuolelle. MediaPipen mallia onkin onnistuneesti hyödynnetty juoksussa aika- ja matkamuuttujien seurantaan hyvällä tarkkuudella (Young et al., 2023).
Työ markkerittoman liikekaappauksen luotettavuuden ja tekoälypohjaisten liikeanalyysisovellusten kehittämisen parissa jatkuu Metropolian liikelaboratoriossa Kuntoutus- ja tutkiminen -osaamisalueen rahoittamana.
Ensinnäkin vuoden 2023 aikana selvitetään tämän hankkeen sovelluksien taustalla toimivan BlazePose -algoritmin toistettavuutta ja luotettavuutta 3D-liikeanalyysijärjestelmää vasten. Toiseksi saksalainen Contemplas on kehittänyt nimenomaan kävelyyn ja juoksuun soveltuvan 2D-mallin, jonka suorituskykyä tullaan testaamaan. Kolmanneksi Hytke-hankkeeseen (https://hytke.metropolia.fi/) liittyen kyykkysovelluksen jatkokehitystä varten tullaan keräämään asiantuntijalausuntoja kliinikoilta, valmentajilta ja tutkijoilta. Jatkokehityksessä keskitytään sovellusten käyttöliittymien ja käytettävyyden parantamiseen.
Tekninen sanasto
Termi
Selite
Konenäkö
Automaattiseen kuvankäsittelyyn perustuva tietokoneohjelma, joka tulkitsee kuvavirtaa ja pyrkii tunnistamaan siitä itselleen tuttuja piirteitä, kuten esimerkiksi ihmiskehon, kasvot ja raajat. Käsittelyn aikana kuvavirta muutetaan numeeriseen muotoon, jota voidaan hyödyntää analyyseihin ja päätöksentekoon.
Asentoestimointi
Konenäköön pohjautuvat tekniikka, joka pyrkii ennustamaan ja seuraamaan ihmisen tai esineen asentoja ja sijaintia. Ihmisen asentoestimoinnissa konenäkömalli pyrkii yhdistämään eri osista (esim. käsistä ja jaloista) saatavia tietoja ja rakentamaan niistä yhtenäisen mallin.
Markkeripohjainen liikekaappaus
Ihmisen kehon liikkeiden objektiivista seurantaa ja tallentamista. Menetelmä perustuu heijastavien markkeripallojen seuraamiseen. Pallot on kiinnitetty ihon pintaan kaksipuoleisella teipillä. Menetelmää käytetään niin biomekaaniseen mallintamiseen, mutta myös liikkeen tuottamiseen peli- ja elokuvahahmoille. Tuloksena saadaan kolmiulotteista tietoa kehon osien koordinaateista, joita voidaan hyödyntää asentojen tunnistamisessa ja liikkeen seuraamisessa.
Markkeriton liikekaappaus
Konenäköön pohjautuva menetelmä, jossa yhdestä tai useammasta videokuvasta tunnistetaan ihmishahmo ja seurataan sen liikkeitä objektiivisesti.
MediaPipe
Googlen julkaisema paketti avoimen lähdekoodin tekoälymalleja. MediaPipe helpottaa valmiiden tekoälymallien käyttöönottoa ja niiden intergrointia sovelluksiin. Paketti sisältää malleja mm. kehon liikkeiden seurantaa tai tarkemmin jonkin kehon osan, kuten vaikkapa sormien nivelten tai silmien liikkeiden seurantaan.
BlazePose
BlazePose on Googlen kehittämä koko kehon asentojen tunnistusalgoritmi, joka pystyy havaitsemaan ihmisen kehosta 33 eri kohdan sijainnit kuvassa tai videossa. BlazePose on yksi osa MediaPipe -pakettia.
Ohjelmistokontti
Ohjelmistokontit ovat standardoitu tapa pakata ohjelmisto siten, että sitä voidaan siirtää paikasta toiseen ilman, että ohjelmistoa tarvitsee muokata. Koodi on usein riippuvainen erilaisista kirjastoista, lisäosista ja asetuksista. Konttiin pakattuna kaikki osat matkustavat käyttövalmiina.
FUNET
Funet (Finnish University and Research Network) on Suomen korkeakoulujen, tutkimuksen ja opetuksen tietoverkko. Funetissa on noin 80 tutkimusorganisaatiota ja noin 370 000 käyttäjää. Se tarjoaa käyttäjilleen nopeat ja tietoturvalliset palvelut esimerkiksi tiedostojen ja ohjelmistojen säilytykseen.
Kirjoittajat:
Tom Thiel, laboratorioinsinööri, Metropolia AMK
Anu Valtonen, yliopettaja, Metropolia AMK
Lähteet
Armitano-Lago, C., Willoughby, D., & Kiefer, A. W. (2022). A SWOT Analysis of Portable and Low-Cost Markerless Motion Capture Systems to Assess Lower-Limb Musculoskeletal Kinematics in Sport. Frontiers in Sports and Active Living, 3.
Bazarevsky, V., Grishchenko, I., Raveendran, K., Zhu, T., Zhang, F., & Grundmann, M. (2020). BlazePose: On-device Real-time Body Pose tracking (arXiv:2006.10204). arXiv.
Chen, K.-Y., Shin, J., Hasan, M. A. M., Liaw, J.-J., Yuichi, O., & Tomioka, Y. (2022). Fitness Movement Types and Completeness Detection Using a Transfer-Learning-Based Deep Neural Network. Sensors (Basel, Switzerland), 22(15), 5700.
Cronin, N. J., Mansoubi, M., Hannink, E., Waller, B., & Dawes, H. (2023). Accuracy of a computer vision system for estimating biomechanical measures of body function in axial spondyloarthropathy patients and healthy subjects. Clinical Rehabilitation, 02692155221150133.
Cronin, N. J., Rantalainen, T., Ahtiainen, J. P., Hynynen, E., & Waller, B. (2019). Markerless 2D kinematic analysis of underwater running: A deep learning approach. Journal of Biomechanics, 87, 75–82.
Fukuchi, C. A., Fukuchi, R. K., & Duarte, M. (2018). A public dataset of overground and treadmill walking kinematics and kinetics in healthy individuals. PeerJ, 6, e4640.
Hellsten, T., Karlsson, J., Shamsuzzaman, M., & Pulkkis, G. (2021). The Potential of Computer Vision-Based Marker-Less Human Motion Analysis for Rehabilitation. Rehabilitation Process and Outcome, 10, 11795727211022330.
Kanko, R., Laende, E. K., Davis, E. M., Selbie, W. S., & Deluzio, K. J. (2020). Concurrent assessment of gait kinematics using marker-based and markerless motion capture [Preprint]. Bioengineering.
Lahkar, B. K., Muller, A., Dumas, R., Reveret, L., & Robert, T. (2022). Accuracy of a markerless motion capture system in estimating upper extremity kinematics during boxing. Frontiers in Sports and Active Living, 4.
Liu, W., Liu, X., Hu, Y., Shi, J., Chen, X., Zhao, J., Wang, S., & Hu, Q. (2022). Fall Detection for Shipboard Seafarers Based on Optimized BlazePose and LSTM. Sensors (Basel, Switzerland), 22(14), 5449.
Mauntel, T. C., Frank, B. S., Begalle, R. L., Blackburn, J. T., & Padua, D. A. (2014). Kinematic differences between those with and without medial knee displacement during a single-leg squat. Journal of Applied Biomechanics, 30(6), 707–712.
Oldfather, T., Zabala, M., Goodlett, M., & Murrah, W. (Hank). (2020). Knee Valgus Versus Knee Abduction Angle: Comparative Analysis of Medial Knee Collapse Definitions in Female Athletes. Journal of Biomechanical Engineering, 142(12).
Ota, M., Tateuchi, H., Hashiguchi, T., & Ichihashi, N. (2021). Verification of validity of gait analysis systems during treadmill walking and running using human pose tracking algorithm. Gait & Posture, 85, 290–297.
Ota, M., Tateuchi, H., Hashiguchi, T., Kato, T., Ogino, Y., Yamagata, M., & Ichihashi, N. (2020). Verification of reliability and validity of motion analysis systems during bilateral squat using human pose tracking algorithm. Gait & Posture, 80, 62–67.
Räisänen, A. M., Pasanen, K., Krosshaug, T., Vasankari, T., Kannus, P., Heinonen, A., Kujala, U. M., Avela, J., Perttunen, J., & Parkkari, J. (2018). Association between frontal plane knee control and lower extremity injuries: A prospective study on young team sport athletes. BMJ Open Sport & Exercise Medicine, 4(1), e000311.
Schurr, S. A., Marshall, A. N., Resch, J. E., & Saliba, S. A. (2017). TWO-DIMENSIONAL VIDEO ANALYSIS IS COMPARABLE TO 3D MOTION CAPTURE IN LOWER EXTREMITY MOVEMENT ASSESSMENT. International Journal of Sports Physical Therapy, 12(2), 163–172.
Wade, L., Needham, L., McGuigan, P., & Bilzon, J. (2022). Applications and limitations of current markerless motion capture methods for clinical gait biomechanics. PeerJ, 10, e12995.
Werner, D. M., Di Stasi, S., Lewis, C. L., & Barrios, J. A. (2019). Test-retest reliability and minimum detectable change for various frontal plane projection angles during dynamic tasks. Physical Therapy in Sport: Official Journal of the Association of Chartered Physiotherapists in Sports Medicine, 40, 169–176.
Young, F., Mason, R., Morris, R., Stuart, S., & Godfrey, A. (2023). Internet-of-Things-Enabled Markerless Running Gait Assessment from a Single Smartphone Camera. Sensors, 23(2), Article 2.
Zeni, J. A., Richards, J. G., & Higginson, J. S. (2008). Two simple methods for determining gait events during treadmill and overground walking using kinematic data. Gait & Posture, 27(4), 710–714.
Zhang, F., Zhu, X., Dai, H., Ye, M., & Zhu, C. (2020). Distribution-Aware Coordinate Representation for Human Pose Estimation. 7093–7102.
Innovaatioilla vaikuttavuutta terveysalan koulutukseen
1.11.2024
Sotemuotoilijat
Terveydenhuollon toimialan kehittyminen on dynaaminen prosessi, joka on välttämätön potilaille ja työssä toimiville asiantuntijoille kaikkialla maailmassa. Välttämätöntä se on myös terveydenhuollon kestävyydelle, saatavuudelle, turvallisuudelle ja laadulle.
Tässä moniulotteisessa kehittymisprosessissa koulutuksen ja jatkuvan oppimisen roolit ovat merkittävät. Liittämällä näyttöön perustuva tieto ja innovatiiviset opiskelu- ja opetuskäytänteet yhteen voidaan varmistaa, että eri tavoin saavutettu osaaminen vastaa organisaatioiden ja työyhteisöjen kehittyviä tarpeita. Vahvistamalla yhteistyötä ja vuoropuhelua kouluttajien, tutkijoiden ja kentällä toimivien asiantuntijoiden välillä voidaan uutta tietoa, näkemyksiä ja kokemuksia hyödyntää jatkuvaa oppimista tukevien kokonaisuuksien suunnittelussa ja toteuttamisessa.
Näyttöön perustuva tieto + teknologiset ratkaisut + pedagogiikka = innovatiiviset oppimisratkaisut
Terveydenhuollon koulutukseen ja koulutustarpeisiin liittyy monia isoja kysymyksiä.
Minälaista on tulevaisuuden työ ja miten koulutuksen järjestäjien tulisi tähän valmistautua?
Miten ratkaista sekä työvoiman että terveydenhuoltopalveluja käyttävien henkilöiden määrän lisääntymisen ja monimuotoisuuteen liittyvät haasteet?
Miten huomioida työssä hyödynnettävien teknologioiden kehittyminen ja käyttöönotettavien teknologisten opetusratkaisujen määrän lisääntyminen?
Näihin kysymyksiin etsitään joustavia ja monimuotoisia ratkaisuja maailmanlaajuisesti. Erilaisten teknologioiden, virtuaalisten simulaatioiden, laajennettujen todellisuuksien ja tekoälytyökalujen integrointi koulutukseen antaa koulutuksen asiantuntijoille mahdollisuuden kehittää ja tuottaa, opiskelijoille mahdollisuuden osallistua entistä mukautuvampiin oppimistilanteisiin.
Yksi maailmanlaajuisesti arvostettu hoito- ja terveystieteiden koulutuksen yhteistyöfoorumi on NETNEP (Nursing Education In Practice)-konferenssi, joka tänä syksynä pidettiin Singapore Expossa. Konferenssin teemana oli From disruption to innovation in nursing and midwifery: Celebrating and driving outcomes through education. Konferenssissa kuultiin kymmeniä puheenvuoroja ja nähtiin satoja postereita. Tämä teksti perustuu konferenssin laajaan tieteelliseen sisältöön teemasta New technolgies, artificial intelligence, simulation and social media in teaching and practice.
Tekoäly kaiken keskiössä
Yksi tämän hetken kuumimmista ilmiöistä on generatiivinen tekoäly ja sen hyödyntäminen opettamisen ja oppimisen eri yhteyksissä. Koulutuksen näkökulmasta ilmiötä tarkasteltiin useissa puheenvuoroissa sekä opettajien että opiskelijoiden näkökulmasta. Sille esitettiin useita opetusta rikastavia käyttökohteita, kuten
tapaustyyppisten, reflektointia edellyttävien oppimistehtävien tuottaminen
monivalintakysymysten tuottaminen
arviointikehikkojen, kyselylomakkeiden ja mittareiden tuottaminen
palautteiden antaminen
kieliopin ja tekstien tarkistaminen
oppimistehtävien plagiointitarkistus
ohjaus- ja opetusvideoiden ja opetussisältöjen tuottaminen.1,2,3
Tekoälyn hyödyntämisen näkökulmasta tärkeänä pidettiin, että opetushenkilöstön osaaminen on ajantasaista ja että osaamisen kehittymistä tukevaa koulutusta, ohjeistusta ja käytännöllisiä esimerkkejä on riittävästi saatavilla4. Lisäksi peräänkuulutettiin avointa ja ajantasaista hoito- ja terveystieteiden tekoälyn opetuskäytön ohjeistusta5. Suomessa kaikille toimialoille soveltuvan kansallisen ohjeistuksen on tuottanut Arene (2024)6 ja se on avoimesti korkeakoulutoimijoiden hyödynnettävissä. Lisäksi monet korkeakoulut ovat julkaisseet omia ohjeistuksia henkilöstölle ja opiskelijoille. Kaikkien ohjeiden ja linjausten osalta tärkeintä on kuitenkin se, että ne otetaan korkeakouluyhteisöissä täysimääräisesti käyttöön ja kaikkien organisaation toimijoiden osaaminen saavuttaisi linjausten hyödyntämistä edellyttävän perustason.
Teknisten mahdollisuuksien ohella esiin nousivat eettiset näkökulmat. Tärkeänä pidettiin sitä, ettei tekoälyn oleteta korvaavan nykyisiä toimintoja, vaan enemmänkin nähtäisiin se mahdollisuutena opettamisen ja oppimisen rikasteena. Selvää oli myös se, että vaikka opiskelijat ohjeistetaan asianmukaiseen ja eettiseen käyttöön, käytännön haaste on se, että ohjeistuksesta huolimatta yksilöt ovat vastuussa uusien työkalujen eettisestä hyödyntämisestä.
Opiskelijoille tekoälytyökalut mahdollistavat nopean ja tehokkaan tavan ideoida ja tarkastella ilmiöitä eri näkökulmista. Lisäksi se voi avustaa tehtävien tekemisessä, vastausten tarkistamisessa ja tentteihin valmistautumisessa. Generatiivisen tekoälyn käytön on koettu lisäävän opiskelumotivaatiota, parantavan teknistä osaamista, opettavan kriittistä ajattelua ja valmistavan opiskelijoita työelämään. Lisäksi tekoälytyökalujen, kuten ChatGPT ja Copilot, käytöstä on koettu merkittävää etua tilanteissa, joissa opiskelukieli ei ole opiskelijan äidinkieli. Ylipäänsä esillä olleet tutkimukset raportoivat hyvin positiivisia asenteita sen käyttöä kohtaan, joskin lisätutkimusta peräänkuulutettiin. Eettisten haasteiden lisäksi käytön haittapuolena nähtiin tekoälytyökalujen mahdollinen hallusinointi tiedon tuottamisessa ja käyttäjien luovuuden ja kriittisen ajattelun väheneminen.7,8 Opiskelijoiden parissa esiin on nostettu huoli oman ajattelun laiskistumisesta ja tekoälyn tuottaman tiedon luotettavuudesta9.
"Tekoälyn hyödyntäminen on pedagogiikkaa". - Hui Xuan Yap
Laajennetut todellisuudet oppimisen rikastajina
Konferenssin innovatiivisimmasta annista vastasi Hybrid Intelligence -tutkimushanke, jonka tarkoituksena on selvittää ihmisen ja koneen välistä vuorovaikutusta oppimisen tukena. Hanke hyödyntää laajennettua todellisuutta, sensoriteknologiaa ja ihmisen ja koneen välistä vuorovaikutusta mittaamalla kognitiivisten muutosten lisäksi neurofysiologisia muutoksia, rekisteröimällä sydämen ja aivojen sähköistä toimintaa ja iholla tapahtuvia muutoksia. Mittaustulosten perusteella positiivisia vaikutuksia on saatu oppijoiden varmuuden lisääntymiseen, kuitenkaan lisäämättä heidän kokemaansa stressiä.10
Laajennetun todellisuuden ratkaisuista esillä olivat virtuaaliset simulaatiot ja virtuaalipotilaat, jotka mahdollistavat oppijoiden toimimisen ja virtuaalisten potilaiden hoitamisen ympäristöön sulautuvissa, immersiivisissä ympäristössä, älylaitteiden tai VR-silmikon välityksellä. Oppimiskokemukset näillä tekniikoilla ovat olleet varsin positiivisia verrattuna perinteisiin opetusmenetelmiin, joskin teknisten ratkaisujen käytettävyys on osin koettu haastavaksi.11,12
Vaikutuksista kohti vaikuttavuutta
Koulutuksen vaikuttavuus on monisyinen kysymys, jonka arvioiminen ja ymmärtäminen sisältää useita ulottuvuuksia13. Vaikuttavuustutkijoiden Kirkpatrickin (1998)14 ja Kaufmanin (1995)15 mukaan koulutuksen vaikutuksia tulee mitata useilla tasoilla ja eri toimijoiden näkökulmasta. Koulutusorganisaation näkökulmasta merkittävää on opiskelijoiden tyytyväisyys (taso I), muutokset tiedollisessa ja taidollisessa osaamisessa (taso II) ja opitun siirrettävyys oppilaitoksista työelämään ja ympäröivään yhteiskuntaan (taso III). Organisaatioiden näkökulmasta tärkeää on uusien oppien laajempi käyttöönottaminen osaksi toimintoja (taso IV) ja niiden pitkäaikaisvaikutukset esimerkiksi kustannusten laskuun ja muuhun resurssitehokkuuteen (taso V). Yhteiskunnalle merkittäviä ovat kansanterveydelliset vaikutukset (taso VI), joita voivat olla esimerkiksi positiiviset terveysvaikutukset, sairastavuuden väheneminen ja elämänlaadun parantuminen. Koulutusorganisaatioiden näkökulmasta vaikutusten ja vaikuttavuuden mittaamiseen parhaiten soveltuvat tasot I-III, joita voidaan arvioida esimerkiksi tiedollista tai taidollista osaamista ja tyytyväisyyttä arvioivilla mittareilla. Kyselyt, lomakkeet ja standardoidut testit tarjoavat tietoa, joilla voidaan arvioida koulutusten onnistumisia ja puutteita ja kehittää niitä edelleen.
Konferenssin annin perusteella innovatiivisten oppimisratkaisujen vaikutusten arviointiin hyödynnetään edelleen hyvin perinteisiä menetelmiä, kuten tieto- ja taitotestejä ja tyytyväisyyttä kuvaavia kyselyjä. Sen sijaan opitun siirtovaikutusta, uusien taitojen implementointia käytäntöön, resurssitehokkuutta tai kansanterveydellisiä vaikutuksia ei ole arvioitu lainkaan. Ne vaatisivat pitkäaikaisseurantaa ja kontrolloituja koeasetelmia ja nykyistä laajempia osallistujamääriä. Työelämään siirtyvien opiskelijoiden seuraaminen antaisi mielenkiintoista tietoa tietopohjan kasvamisesta käyttäytymismuutoksiksi ja edelleen väestöön kohdistuviksi terveysvaikutuksiksi. Tällainen laaja-alainen ja pitkäkestoinen arviointi on olennaista koulutusinnovaatioiden vaikutusten ymmärtämiseksi.
Lisäksi valikoimaan tarvitaan uudenlaisia arviointimenetelmiä arvioimaan tekoälyllä tuettua oppimista16,17, joihin toivottavasti palataan seuraavassa, vuoden 2026, konferenssissa. Tällä välin innovatiivisten ja vaikuttavien opetus- ja oppimisratkaisujen kehittäminen jatkuu maailmanlaajuisesti konferenssin pääpuhujan, Gemma Staceyn sanoin,
"Unlock the power of knowing what you don´t know."
Lähteet
1 Stratton-Maher, D. & Kelly, J. 2024. Embracing artificial intelligence to reimagine assessment to ethically accommodate ChatGPT in nursing education. Oral presentation. NETNEP2024.
2 Yap, H., Kwah, L. Zhou, Y.et al. 2024. A mixed methods study of undergraduate students’ attitudes and ethics towards the use of ChatGPT in learning and education. Oral presentation. NETNEP2024.
3 Shin, S., Choi, J., Hong, E. et al. 2024. Development of Multiple-Choice Questions in Nursing Education Using Generative AI. Oral presentation. NETNEP2024.
4 Groeneveld, S., van Os-Medendorp, H., van Gemert-Pijnen, J. et al, 2024. Required competences of nurses working with artificial intelligence-based lifestyle monitoring in long-term care: a Delphi study. Oral presentation. NETNEP2024.
5 Yap, H., Kwah, L. Zhou, Y.et al. 2024. A mixed methods study of undergraduate students’ attitudes and ethics towards the use of ChatGPT in learning and education. Oral presentation. NETNEP2024.
6 Arene. 2024. Arenen suositukset tekoälyn hyödyntämisestä ammattikorkeakouluille. Päivitetty 4.10.2024.
7 Zgambo, M., Costello, M., Buhlman, M. et al. 2024. Enhancing Academic Integrity in Higher Education: A Multi-phase Study on Students' Perceptions and Use of Artificial Intelligence. Oral presentation. NETNEP2024.
8 Yap, H., Kwah, L. Zhou, Y.et al. 2024. A mixed methods study of undergraduate students’ attitudes and ethics towards the use of ChatGPT in learning and education. Oral presentation. NETNEP2024.
9 Summers, A., El Haddad, M., Prichard, R. et al. 2024. Generative AI, the views of students, markers and the Integrity Compliance Unit. Oral presentation. NETNEP2024.
10 Mikkonen, K., Kuivila, H., Pramila-Savukoski, S. et al. 2024. Enhancing Clinical Education: The Role of Human-Centered Extended Reality in Healthcare Student Learning. Oral presentation. NETNEP2024.
11 Ropponen, P., Tomietto, M., Pramila- Savukoski, S. et al. 2024. The impacts of educational interventions using VR simulations on nursing students’ learning. Oral presentation. NETNEP2024.
12 Mattson, K., Haavisto, E., Jumisko-Pyykkö, S. et al. 2024. Nursing students' experiences of empathy in a virtual reality simulation game: a descriptive qualitative study. Oral presentation. NETNEP2024.
13 Virtanen, M. 2018. The development of ubiquitous 360° learning environment and its effects on students’ satisfaction and histotechnological knowledge. Väitöskirja. Oulun yliopisto.
14 Kirkpatrick, D. 1998. Another look at evaluating training programs. Alexandria, VA: American Society for Training & Development.
15 Kaufman, R., Keller, J., & Watkins, R. 1995. What works and what doesn’t: Evaluation beyond Kirkpatrick. Performance and Instruction, 35(2), 8-12.
16 Yap, H., Kwah, L. Zhou, Y.et al. 2024. A mixed methods study of undergraduate students’ attitudes and ethics towards the use of ChatGPT in learning and education. Oral presentation. NETNEP2024.
17 Ramjan, L., Drury, P., Glarcher, M. et al. 2024. Educator perspectives on the use of generative AI in nursing: Friend or foe? Oral presentation. NETNEP2024.
Kommentit
Ei kommentteja