LUME. Creatives in Web3 Age

Älykäs kitara, tärisevä puettava metronomi ja konserttikokemukseesi reagoiva LED-ranneke ovat osa kasvavaa ilmiötä, joka tunnetaan nimellä musikaalisten esineiden internet. Tässä blogissa pohdin, mitä se tuo tullessaan musiikin tekijöille, esittäjille, välittäjäportaalle ja yleisölle. Musiikillisten esineiden internet (Internet of Musical Things, IoMusT) yhdistää toisiinsa esimerkiksi internettiin liitettäviä älysoittimia, älypuhelimia, älypuhelimen suoratoistopalveluita, laajennetun todellisuuden kokemuksien aikana käytettäviä laitteita sekä kosketusantureita sisältäviä, tietoa kerääviä ja edelleen lähettäviä laitteita. Näiden laitteiden välinen kommunikointi muodostaa oman verkostonsa — musiikillisten asioiden internetin (ks. Turchet ym. 2020; 2022). Musiikin ja teknologian yhdistävän verkoston kehittymisen myötä tulevaisuuden horisontissamme kajastaa varsin uudenlainen todellisuus. Kun esimerkiksi jammailet Samsuning ZamStar-älykitaraa soittaen ystäviesi kanssa ZamStarin alustalla, hyödynnät IoMusT-verkkoa (Roche, 2022).  IoMusT yhdistää musiikin tekijöitä ja esittäjiä toisiinsa, mutta myös alan välittäjäportaaseen ja yleisöön. Samalla laitteiden välinen kommunikointi luo tulevaisuutta, jossa on uusi tapoja luoda, kehittää ja kokea musiikkia. Älykkäät laitteet ja muusikoiden yhteisöllinen luovuus   Älykkäiden musiikkilaitteiden ja -järjestelmien kehittyminen on nopeaa. Sinänsä musiikkialalla on jo pitkä historia laitteiden välisen digitaalisen yhteyden rakentamisesta etenkin 1990-luvulla yleistyneen MIDI (Musical Instument Digital Interface) protokollan myötä (Bateman, 2012). Protokolla on kuitenkin IoMusT:n kannalta hidas, ja tulevaisuuden näkymänä onkin siirtymä semanttiseen verkkoon, joka pyrkii nopeampana teknologiana tekemään internetin tiedosta älykkäämpää ja hyödyllisempää sekä ihmisille että koneille. Yksi kehittämisen kohde ovat älykitarat. Esimerkiksi Samsungin ZamStart opettaa led-opastevaloin löytämään älykitaran kaulalta oikeat soinnut. Sensus Smart Guitar puolestaan rekisteröi sensorien avulla soittotekniikoita ja liikkeitä, kuten sormien kosketuksen, otelaudan paineen ja kitaran kallistuksen (Turchet ym., 2017). Kitaran signaaliprosessorin avulla voidaan lisätä ääniefektejä reaaliaikaisesti. Älysoittimien ohella keskeinen kehitysalue ovat älykkäät laitteet ja sovellukset, jotka mahdollistavat muusikoiden etäyhteistyön reaaliajassa. Kitaran mukana tulevan älypuhelinsovelluksen avulla muusikot voivat nauhoittaa soittoaan, editoida pätkiään ja yhdistellä niitä toisten luomuksiin. Tämä avaa uusia mahdollisuuksia kansainväliselle yhteistyölle ja luovuudelle säveltäjien, esittäjien, äänituottajien, live-ääniteknikoiden ja jopa yleisön yhteisöissä (Turchet, 2019). Yhteisölliset alustat voivat myös tarjota tilaisuuksia jakaa ja kehittää musiikkia yhdessä muiden muusikoiden ja kuulijoiden kanssa (Turchet ym., 2022). Ehkäpä näistä tulee meidän opettajienkin tulevia etäpedagogisen työn tukivälineitä. Sensorien avulla on myös etsitty uudenlaisia keinoja kokea musiikkia.  Puettavat haptiset (tuntoaistiin perustuvat) laitteet voivat seurata muun muassa eleitä ja mahdollistaa ääni- ja muiden parametrien hallinnan eleiden ja kehon liikkeiden avulla (Turchet ym., 2020). Samalla kun ne voivat parantaa esityksiä, niillä voi olla tärkeä rooli muusikolle terveyden omaseurantaan. Antureiden kautta muusikko voi seurata esimerkiksi stressitasoaan ja ryhtiään, joiden optimoinnilla on tärkeitä pitkän aikavälin vaikutuksia. Lohkoketjuista ja älysopimuksista tukea oikeuksien hallintaan   Musikaalinen esineiden internet mahdollistaa musiikin tekemisen ohella uusia keinoja hallita muun muassa tekijänoikeus- ja rojaltimaksuja (Turchet ym., 2022). Muutoksen yksi ajuri on lohkoketjujen yleistyminen.  Lohkoketjupohjaisessa IoMusT:ssä tekijänoikeuksien ja rojaltien hallintaa voidaan tehdä älysopimuksin hajautetusti, jolloin tiedon hakkerointi on vaikeaa (Turchet ym., 2022).  Älysopimukseen kirjattu tieto on läpinäkyvää, ja siellä olevat käyttöön liittyvät säädökset seuraavat kaikkialle digitaalisen sisällön mukana. Lohkoketjuissa kompensaatiot musiikin käytöstä siirtyvät mikromaksuina reaaliaikaisesti älysopimuksessa kirjatulla tavalla oikeuksien haltijoille ilman välikäsiä ja riskiä heidän aiheuttamistaan mahdollisista viiveistä tai inhimillisistä virheistä. Mitä vahvemmin yhteistyötä tehdään verkossa — usein myös tekoälyä hyödyntämällä — sitä tärkeämpää on varmistaa, että tekijänoikeudet ja omistajuus säilyvät selkeinä ja oikeudenmukaisina. Samalla kun rojaltit ja tekijänoikeudet saattavat tulla lohkoketjuissa tehokkaasti lähes reaaliaikaisesti oikeuksien omistajille, itse oikeuksien omistajuuden käsite saa uusia sävyjä (kts. Turchet ym. 2022). Esimerkiksi kuulijoiden dataa voidaan käyttää monipuolisesti musiikin kehittämisessä, mutta on epäselvää, miten heidän rooliaan säädellään IoMusT-järjestelmässä. Tämä edellyttääkin uusia sääntelykäytänteitä ja teknologioita, jotka suojelevat sekä muusikoiden että sen tekemiseen osallistuvien kuulijoiden oikeuksia. Yleisön ymmärryksen uusia tasoja   Esimakua uudentyyppisestä yleisön teknologiavälitteisestä osallistumisesta saatiin jo liki kymmenen vuotta sitten, kun Taylor Swift järjesti albuminsa ”1989” tukemiseksi musiikkikiertueen vuonna 2015. Siellä faneille jaettiin led-rannekkeita heidän saapuessaan tapahtumapaikalle. Rannekkeet sisälsivät infrapunatransmettereitä ja RFID-sirun (Marellabudi, 2020), joiden avulla rannekkeeseen tuli valoja musiikin ja konserttivieraan liikkeen tahdissa. Näin yleisöstä tuli osa konserttia, ja yleisön valomeri loi osaltaan faneille entistä yhteisöllisemmän konserttikokemuksen. Sittemmin laitteiden kehittymisen myötä musiikin kokemiseen on käytetty yhä immersiivisempiä välineitä, kuten VR-lasit ja haptiset laitteet. Laitteet voivat auttaa rakentamaan uudenlaista muusikon ja yleisön välistä kommunikointia sekä virtuaalisessa että jaetussa ympäristössä. Biometrisen datan avulla muusikko voi ymmärtää hyvinkin syvällisesti yleisön kokemusta mm. kiihtymyksen ja tunteiden tasosta kertovien elektroenkefalogrammisten vaihteluiden (EEG), sykkeen, galvaanisen ihoreaktion, lihasaktiivisuuden, silmänliikkeen ja hengityksen vaihtelujen perusteella (Turchet ym., 2022, 4). Tämä voisi auttaa esimerkiksi valitsemaan esitettäviä kappaleita ja suunnittelemaan niiden järjestystä yleisön tunnereaktiot huomioiden. Parhaillaan syvä tieto yleisön kokemuksesta voi antaa muusikoille avaimia suunnitella yhä monipuolisempaa konserttielämystä. Musiikki voi tulla myös uudella tavalla osaksi musiikinystävän arkea. Esimerkiksi älykkäät kaiutinjärjestelmät voivat oppia käyttäjän musiikkimieltymyksistä eri tilanteissa ja sen perusteella mukauttaa sekä luoda uusia soittolistoja oppimansa pohjalta. Kaiuttimet voivat synkronoitua älykodin muiden laitteiden kanssa, jolloin musiikki voi esimerkiksi seurata käyttäjää huoneesta toiseen saumattomasti. Älykkäät musiikkijärjestelmät voivat myös tarjota dynaamisen äänenlaadun, joka mukautuu ympäröivän tilan akustiikkaan ja biometristen tunnisteiden avulla myös mielialaan tarjoten yksilöllisen kuuntelukokemuksen. Musiikin terapeuttiset hyödyt ovat laajalti tunnettuja. Ehkäpä tulevaisuudessa IoMusT tuo uutta välineistöä hyötyjen tuomiseksi käyttäjän arkeen. Esimerkiksi älykkäät laitteet voivat tarjota yksilöllisiä musiikkiterapiaohjelmia, jotka mukautuvat käyttäjän mielialaan ja fysiologisiin tarpeisiin. Näitä sovelluksia voitaisiin käyttää esimerkiksi stressin vähentämiseen, unihäiriöiden hoitamiseen ja kuntoutuksen tukena. IoMusT kehityksen haasteita IoMusT luo maailman, jossa lukuisat musiikilliset laitteet ovat yhteydessä ja vuorovaikutuksessa käyttäjiensä ja ympäristönsä kanssa keräten tietoa ja automatisoiden tiettyjä tehtäviä. Myös musiikkialaan liittyvät piirteet, kuten tekijänoikeuksien tehokas hallinta ja rojaltien nopea maksaminen, voivat hyötyä lohkoketjuista ja IoMusT:stä. Kehityskulku sisältää kuitenkin myös ratkaisemattomia kysymyksiä ja riskejä. Nykyisellään internetin reagoinnin hitaus voi muodostua eri sovellusten käyttämisen pullonkaulaksi.  IoMusT-laitteet tarvitsevat nopean konsensusprotokollan voidakseen kommunikoida keskenään. Mikäli kaistanleveyden riittämättömyyden ja verkkoliikenteen kuormituksen ongelmat jäävät ratkaisematta, esimerkiksi reaaliaikaista monipaikkaista yhteismusisointia vaivaavat hitaus ja viiveet. Alan kehittymisen kannalta tarvitaan alustasta riippumattomia ratkaisuja, jotka ohjaavat musiikkiesineiden, lohkoketjun ja IoMusT-toimijoiden välistä vuorovaikutusta. Lisäksi kestävän kehityksen näkökulmasta energiatehokkuus suurien tietomäärien käsittelyssä ja vertaisverkkoviestinnässä on kriittisen tärkeää. Tulevaisuudessa IoMusT saattaa vähentää esteitä monipaikkaisen ja yleisön kanssa interaktiivisen korkealaatuisen musiikin luomiselle ja esittämiselle. IoMusT ei vain muuta teknistä ympäristöämme, vaan se muokkaa myös musiikillisen luovuuden ja ilmaisun tulevaisuutta. Lähteet   Bateman, T. (2012). How MIDI changed the world of music. BBC News 28.11.2012. https://www.bbc.com/news/technology-20425376 Marellabudi, T. (2022). What Is the Internet of Musical Things (IoMusT)? All about Circute News 24.4.2020. https://www.allaboutcircuits.com/news/what-is-the-internet-of-musical-things-iomust Roche, S. (2022). Samsung is releasing a guitar with LED guide lights on its fretboard. Guitar World news 4.1. 2022. https://www.guitarworld.com/news/samsung-zamstar Turchet, L., Benincaso, M. & Fischione, C. (2017). Examples of use cases with Smart Instruments. AM '17: Proceedings of the 12th International Audio Mostly Conference on Augmented and Participatory Sound and Music Experiences, Article No.: 47, Pages 1–5. https://doi.org/10.1145/3123514.3123553 Turchet, L. (2019). Smart musical instruments: vision, design principles, and future directions. IEEE Access 7 (2019) 8944–8963, http://dx.doi.org/10.1109/ Turchet, L., Antoniazzi, F., Fabio, V. &  Fazekas, G. (2020). The Internet of Musical Things Ontology. Web Semantics: Science, Services and Agents on the World Wide Web 60 (2020) 100548. https://doi.org/10.1016/j.websem.2020.100548 Turchet, L. & Ngo, C.N. (2022). Blockchain-based Internet of Musical Things. Blockchain: Research and Applications 3 (2022) 100083. https://doi.org/10.1016/j.bcra.2022.100083 Katri Halonen (Metropolian amk) toimii projektipäällikkönä Euroopan unionin osarahoittamasa LUME-hankkeessa, joka keskittyy luovan alan uusin ansaintamalleihin.