LUME. Creatives in Web3 Age

Älykäs kitara, tärisevä puettava metronomi ja konserttikokemukseesi reagoiva LED-ranneke ovat osa kasvavaa ilmiötä, joka tunnetaan nimellä musikaalisten esineiden internet. Tässä blogissa pohdin, mitä se tuo tullessaan musiikin tekijöille, esittäjille, välittäjäportaalle ja yleisölle. Musiikillisten esineiden internet (Internet of Musical Things, IoMusT) yhdistää toisiinsa esimerkiksi internettiin liitettäviä älysoittimia, älypuhelimia, älypuhelimen suoratoistopalveluita, laajennetun todellisuuden kokemuksien aikana käytettäviä laitteita sekä kosketusantureita sisältäviä, tietoa kerääviä ja edelleen lähettäviä laitteita. Näiden laitteiden välinen kommunikointi muodostaa oman verkostonsa — musiikillisten asioiden internetin (ks. Turchet ym. 2020; 2022). Musiikin ja teknologian yhdistävän verkoston kehittymisen myötä tulevaisuuden horisontissamme kajastaa varsin uudenlainen todellisuus. Kun esimerkiksi jammailet Samsuning ZamStar-älykitaraa soittaen ystäviesi kanssa ZamStarin alustalla, hyödynnät IoMusT-verkkoa (Roche, 2022).  IoMusT yhdistää musiikin tekijöitä ja esittäjiä toisiinsa, mutta myös alan välittäjäportaaseen ja yleisöön. Samalla laitteiden välinen kommunikointi luo tulevaisuutta, jossa on uusi tapoja luoda, kehittää ja kokea musiikkia.   Älykkäät laitteet ja muusikoiden yhteisöllinen luovuus   Älykkäiden musiikkilaitteiden ja -järjestelmien kehittyminen on nopeaa. Sinänsä musiikkialalla on jo pitkä historia laitteiden välisen digitaalisen yhteyden rakentamisesta etenkin 1990-luvulla yleistyneen MIDI (Musical Instument Digital Interface) protokollan myötä (Bateman, 2012). Protokolla on kuitenkin IoMusT:n kannalta hidas, ja tulevaisuuden näkymänä onkin siirtymä semanttiseen verkkoon, joka pyrkii nopeampana teknologiana tekemään internetin tiedosta älykkäämpää ja hyödyllisempää sekä ihmisille että koneille. Yksi kehittämisen kohde ovat älykitarat. Esimerkiksi Samsungin ZamStart opettaa led-opastevaloin löytämään älykitaran kaulalta oikeat soinnut. Sensus Smart Guitar puolestaan rekisteröi sensorien avulla soittotekniikoita ja liikkeitä, kuten sormien kosketuksen, otelaudan paineen ja kitaran kallistuksen (Turchet ym., 2017). Kitaran signaaliprosessorin avulla voidaan lisätä ääniefektejä reaaliaikaisesti. Älysoittimien ohella keskeinen kehitysalue ovat älykkäät laitteet ja sovellukset, jotka mahdollistavat muusikoiden etäyhteistyön reaaliajassa. Kitaran mukana tulevan älypuhelinsovelluksen avulla muusikot voivat nauhoittaa soittoaan, editoida pätkiään ja yhdistellä niitä toisten luomuksiin. Tämä avaa uusia mahdollisuuksia kansainväliselle yhteistyölle ja luovuudelle säveltäjien, esittäjien, äänituottajien, live-ääniteknikoiden ja jopa yleisön yhteisöissä (Turchet, 2019). Yhteisölliset alustat voivat myös tarjota tilaisuuksia jakaa ja kehittää musiikkia yhdessä muiden muusikoiden ja kuulijoiden kanssa (Turchet ym., 2022). Ehkäpä näistä tulee meidän opettajienkin tulevia etäpedagogisen työn tukivälineitä. Sensorien avulla on myös etsitty uudenlaisia keinoja kokea musiikkia.  Puettavat haptiset (tuntoaistiin perustuvat) laitteet voivat seurata muun muassa eleitä ja mahdollistaa ääni- ja muiden parametrien hallinnan eleiden ja kehon liikkeiden avulla (Turchet ym., 2020). Samalla kun ne voivat parantaa esityksiä, niillä voi olla tärkeä rooli muusikolle terveyden omaseurantaan. Antureiden kautta muusikko voi seurata esimerkiksi stressitasoaan ja ryhtiään, joiden optimoinnilla on tärkeitä pitkän aikavälin vaikutuksia. Lohkoketjuista ja älysopimuksista tukea oikeuksien hallintaan   Musikaalinen esineiden internet mahdollistaa musiikin tekemisen ohella uusia keinoja hallita muun muassa tekijänoikeus- ja rojaltimaksuja (Turchet ym., 2022). Muutoksen yksi ajuri on lohkoketjujen yleistyminen.  Lohkoketjupohjaisessa IoMusT:ssä tekijänoikeuksien ja rojaltien hallintaa voidaan tehdä älysopimuksin hajautetusti, jolloin tiedon hakkerointi on vaikeaa (Turchet ym., 2022).  Älysopimukseen kirjattu tieto on läpinäkyvää, ja siellä olevat käyttöön liittyvät säädökset seuraavat kaikkialle digitaalisen sisällön mukana. Lohkoketjuissa kompensaatiot musiikin käytöstä siirtyvät mikromaksuina reaaliaikaisesti älysopimuksessa kirjatulla tavalla oikeuksien haltijoille ilman välikäsiä ja riskiä heidän aiheuttamistaan mahdollisista viiveistä tai inhimillisistä virheistä. Mitä vahvemmin yhteistyötä tehdään verkossa — usein myös tekoälyä hyödyntämällä — sitä tärkeämpää on varmistaa, että tekijänoikeudet ja omistajuus säilyvät selkeinä ja oikeudenmukaisina. Samalla kun rojaltit ja tekijänoikeudet saattavat tulla lohkoketjuissa tehokkaasti lähes reaaliaikaisesti oikeuksien omistajille, itse oikeuksien omistajuuden käsite saa uusia sävyjä (kts. Turchet ym. 2022). Esimerkiksi kuulijoiden dataa voidaan käyttää monipuolisesti musiikin kehittämisessä, mutta on epäselvää, miten heidän rooliaan säädellään IoMusT-järjestelmässä. Tämä edellyttääkin uusia sääntelykäytänteitä ja teknologioita, jotka suojelevat sekä muusikoiden että sen tekemiseen osallistuvien kuulijoiden oikeuksia. Yleisön ymmärryksen uusia tasoja   Esimakua uudentyyppisestä yleisön teknologiavälitteisestä osallistumisesta saatiin jo liki kymmenen vuotta sitten, kun Taylor Swift järjesti albuminsa ”1989” tukemiseksi musiikkikiertueen vuonna 2015. Siellä faneille jaettiin led-rannekkeita heidän saapuessaan tapahtumapaikalle. Rannekkeet sisälsivät infrapunatransmettereitä ja RFID-sirun (Marellabudi, 2020), joiden avulla rannekkeeseen tuli valoja musiikin ja konserttivieraan liikkeen tahdissa. Näin yleisöstä tuli osa konserttia, ja yleisön valomeri loi osaltaan faneille entistä yhteisöllisemmän konserttikokemuksen. Sittemmin laitteiden kehittymisen myötä musiikin kokemiseen on käytetty yhä immersiivisempiä välineitä, kuten VR-lasit ja haptiset laitteet. Laitteet voivat auttaa rakentamaan uudenlaista muusikon ja yleisön välistä kommunikointia sekä virtuaalisessa että jaetussa ympäristössä. Biometrisen datan avulla muusikko voi ymmärtää hyvinkin syvällisesti yleisön kokemusta mm. kiihtymyksen ja tunteiden tasosta kertovien elektroenkefalogrammisten vaihteluiden (EEG), sykkeen, galvaanisen ihoreaktion, lihasaktiivisuuden, silmänliikkeen ja hengityksen vaihtelujen perusteella (Turchet ym., 2022, 4). Tämä voisi auttaa esimerkiksi valitsemaan esitettäviä kappaleita ja suunnittelemaan niiden järjestystä yleisön tunnereaktiot huomioiden. Parhaillaan syvä tieto yleisön kokemuksesta voi antaa muusikoille avaimia suunnitella yhä monipuolisempaa konserttielämystä. Musiikki voi tulla myös uudella tavalla osaksi musiikinystävän arkea. Esimerkiksi älykkäät kaiutinjärjestelmät voivat oppia käyttäjän musiikkimieltymyksistä eri tilanteissa ja sen perusteella mukauttaa sekä luoda uusia soittolistoja oppimansa pohjalta. Kaiuttimet voivat synkronoitua älykodin muiden laitteiden kanssa, jolloin musiikki voi esimerkiksi seurata käyttäjää huoneesta toiseen saumattomasti. Älykkäät musiikkijärjestelmät voivat myös tarjota dynaamisen äänenlaadun, joka mukautuu ympäröivän tilan akustiikkaan ja biometristen tunnisteiden avulla myös mielialaan tarjoten yksilöllisen kuuntelukokemuksen. Musiikin terapeuttiset hyödyt ovat laajalti tunnettuja. Ehkäpä tulevaisuudessa IoMusT tuo uutta välineistöä hyötyjen tuomiseksi käyttäjän arkeen. Esimerkiksi älykkäät laitteet voivat tarjota yksilöllisiä musiikkiterapiaohjelmia, jotka mukautuvat käyttäjän mielialaan ja fysiologisiin tarpeisiin. Näitä sovelluksia voitaisiin käyttää esimerkiksi stressin vähentämiseen, unihäiriöiden hoitamiseen ja kuntoutuksen tukena.   IoMusT kehityksen haasteita IoMusT luo maailman, jossa lukuisat musiikilliset laitteet ovat yhteydessä ja vuorovaikutuksessa käyttäjiensä ja ympäristönsä kanssa keräten tietoa ja automatisoiden tiettyjä tehtäviä. Myös musiikkialaan liittyvät piirteet, kuten tekijänoikeuksien tehokas hallinta ja rojaltien nopea maksaminen, voivat hyötyä lohkoketjuista ja IoMusT:stä. Kehityskulku sisältää kuitenkin myös ratkaisemattomia kysymyksiä ja riskejä. Nykyisellään internetin reagoinnin hitaus voi muodostua eri sovellusten käyttämisen pullonkaulaksi.  IoMusT-laitteet tarvitsevat nopean konsensusprotokollan voidakseen kommunikoida keskenään. Mikäli kaistanleveyden riittämättömyyden ja verkkoliikenteen kuormituksen ongelmat jäävät ratkaisematta, esimerkiksi reaaliaikaista monipaikkaista yhteismusisointia vaivaavat hitaus ja viiveet. Alan kehittymisen kannalta tarvitaan alustasta riippumattomia ratkaisuja, jotka ohjaavat musiikkiesineiden, lohkoketjun ja IoMusT-toimijoiden välistä vuorovaikutusta. Lisäksi kestävän kehityksen näkökulmasta energiatehokkuus suurien tietomäärien käsittelyssä ja vertaisverkkoviestinnässä on kriittisen tärkeää. Tulevaisuudessa IoMusT saattaa vähentää esteitä monipaikkaisen ja yleisön kanssa interaktiivisen korkealaatuisen musiikin luomiselle ja esittämiselle. IoMusT ei vain muuta teknistä ympäristöämme, vaan se muokkaa myös musiikillisen luovuuden ja ilmaisun tulevaisuutta.   Lähteet   Bateman, T. (2012). How MIDI changed the world of music. BBC News 28.11.2012. https://www.bbc.com/news/technology-20425376 Marellabudi, T. (2022). What Is the Internet of Musical Things (IoMusT)? All about Circute News 24.4.2020. https://www.allaboutcircuits.com/news/what-is-the-internet-of-musical-things-iomust Roche, S. (2022). Samsung is releasing a guitar with LED guide lights on its fretboard. Guitar World news 4.1. 2022. https://www.guitarworld.com/news/samsung-zamstar Turchet, L., Benincaso, M. & Fischione, C. (2017). Examples of use cases with Smart Instruments. AM '17: Proceedings of the 12th International Audio Mostly Conference on Augmented and Participatory Sound and Music Experiences, Article No.: 47, Pages 1–5. https://doi.org/10.1145/3123514.3123553 Turchet, L. (2019). Smart musical instruments: vision, design principles, and future directions. IEEE Access 7 (2019) 8944–8963, http://dx.doi.org/10.1109/ Turchet, L., Antoniazzi, F., Fabio, V. &  Fazekas, G. (2020). The Internet of Musical Things Ontology. Web Semantics: Science, Services and Agents on the World Wide Web 60 (2020) 100548. https://doi.org/10.1016/j.websem.2020.100548 Turchet, L. & Ngo, C.N. (2022). Blockchain-based Internet of Musical Things. Blockchain: Research and Applications 3 (2022) 100083. https://doi.org/10.1016/j.bcra.2022.100083 Katri Halonen (Metropolian amk) toimii projektipäällikkönä Euroopan unionin osarahoittamasa LUME-hankkeessa, joka keskittyy luovan alan uusin ansaintamalleihin.

A smart guitar, a vibrating wearable metronome, and an LED wristband reacting to your concert experience are all part of a growing phenomenon known as the Internet of Musical Things. In this blog, I explore what this development may bring for music creators, performers, intermediaries, and audiences alike. The Internet of Musical Things (IoMusT) connects devices such as internet-enabled smart instruments, smartphones, music streaming services, augmented reality devices, and sensor-equipped technologies that collect and transmit data. Communication between these devices forms its own ecosystem — the Internet of Musical Things (see Turchet et al., 2020; 2022).As this network combining music and technology evolves, a radically new reality is beginning to emerge on the horizon. For example, when you jam with friends using Samsung’s ZamStar smart guitar platform, you are already utilizing the IoMusT ecosystem (Roche, 2022). IoMusT connects music creators and performers not only with one another, but also with intermediaries and audiences. At the same time, communication between devices creates new ways to create, develop, and experience music. Smart Devices and Collaborative Creativity Among Musicians The development of intelligent musical devices and systems is advancing rapidly. The music industry already has a long history of digital communication between devices, especially through the MIDI (Musical Instrument Digital Interface) protocol that became widespread during the 1990s (Bateman, 2012). However, from the perspective of IoMusT, MIDI is relatively slow. The future points toward semantic web technologies, which aim to make internet data smarter and more useful for both humans and machines through faster communication systems. One area of development involves smart guitars. Samsung’s ZamStar, for example, uses LED guidance lights to help players locate correct chords on the guitar neck. Meanwhile, the Sensus Smart Guitar utilizes sensors to register playing techniques and movements such as finger touch, fretboard pressure, and guitar tilt (Turchet et al., 2017). Through the guitar’s signal processor, sound effects can also be added in real time.Alongside smart instruments, another major development area involves intelligent devices and applications that enable real-time remote collaboration between musicians. Smartphone applications connected to instruments allow musicians to record performances, edit segments, and combine them with the creations of others. This opens new opportunities for international collaboration and creativity among composers, performers, producers, live sound engineers, and even audiences themselves (Turchet, 2019). Collaborative platforms may also offer opportunities to share and develop music together with other musicians and listeners (Turchet et al., 2022). Perhaps these technologies will even become future tools supporting remote pedagogy for teachers as well. Sensors have also been used to explore entirely new ways of experiencing music. Wearable haptic devices — technologies based on the sense of touch — can track gestures and enable the control of sound and other parameters through body movements and gestures (Turchet et al., 2020). While these devices can enhance performances, they may also play an important role in musicians’ self-monitoring and wellbeing. Through sensors, musicians can track factors such as stress levels and posture, whose optimization can have important long-term health benefits. Blockchain and Smart Contracts Supporting Rights Management In addition to enabling new ways of making music, the Internet of Musical Things also introduces new methods for managing copyrights and royalty payments (Turchet et al., 2022). One key driver of this change is the growing adoption of blockchain technologies. Within blockchain-based IoMusT systems, copyrights and royalties can be managed through decentralized smart contracts, making data tampering significantly more difficult (Turchet et al., 2022). Information recorded in smart contracts is transparent, and the rules concerning usage rights travel together with the digital content wherever it goes.Through blockchain systems, compensation for music usage can be transferred as real-time micropayments directly to rights holders according to the terms specified in the smart contract — without intermediaries and without delays or human errors caused by third parties. As online collaboration becomes increasingly common — often enhanced by artificial intelligence — ensuring clarity and fairness around copyright ownership becomes even more important. While royalties and rights management may become highly efficient through blockchain systems, the very concept of ownership may simultaneously acquire entirely new dimensions (see Turchet et al., 2022). For example, listener data can be used extensively in music development, yet it remains unclear how listeners’ roles and rights should be regulated within IoMusT systems. This creates a need for new regulatory frameworks and technologies capable of protecting the rights of both musicians and audiences participating in music creation. New Levels of Audience Understanding A preview of technologically mediated audience participation emerged nearly a decade ago when Taylor Swift organized her 2015 “1989” tour. Fans attending the concerts received LED wristbands upon entering the venue. The wristbands contained infrared transmitters and RFID chips (Marellabudi, 2020), allowing them to light up in sync with both the music and audience movement.As a result, the audience itself became part of the performance, and the sea of synchronized lights created an increasingly communal concert experience for fans.Since then, technological development has led to even more immersive music experiences through devices such as VR headsets and haptic technologies. These devices can create new forms of communication between musicians and audiences in both virtual and shared environments. Using biometric data, musicians may gain remarkably deep insights into audience experiences through measurements such as electroencephalographic (EEG) fluctuations associated with arousal and emotions, heart rate, galvanic skin response, muscle activity, eye movements, and breathing patterns (Turchet et al., 2022, 4). Such insights could help artists select songs and design setlists according to audience emotional responses. At its best, deep knowledge about audience experiences may provide musicians with entirely new tools for designing richer and more engaging concert experiences. Music may also become integrated into everyday life in new ways. Smart speaker systems, for example, can learn users’ musical preferences in different situations and automatically create adaptive playlists based on these patterns. Speakers may synchronize with other smart home devices, allowing music to follow users seamlessly from room to room. Intelligent music systems may also offer dynamic sound quality that adapts to room acoustics and even to the listener’s mood through biometric data, creating highly personalized listening experiences.The therapeutic benefits of music are already widely recognized. In the future, IoMusT may introduce entirely new tools for integrating these benefits into everyday life. Smart devices could provide personalized music therapy programs that adapt to users’ moods and physiological needs. Such applications could support stress reduction, treatment of sleep disorders, and rehabilitation processes. Challenges of IoMusT Development IoMusT creates a world in which countless musical devices are connected and interacting with users and environments while collecting data and automating certain tasks. Music-industry-specific functions such as efficient copyright management and rapid royalty payments may also benefit from blockchain technologies and IoMusT systems. However, this development also contains unresolved questions and risks. At present, internet latency may become a bottleneck for many applications. IoMusT devices require fast consensus protocols to communicate effectively with one another. If issues related to bandwidth limitations and network congestion remain unresolved, applications such as real-time collaborative music-making across multiple locations will continue to suffer from latency and delays.The future development of the field requires platform-independent solutions capable of managing interaction between musical devices, blockchain infrastructures, and IoMusT actors. In addition, from a sustainability perspective, energy efficiency in handling massive data flows and peer-to-peer communication is critically important. In the future, IoMusT may significantly reduce barriers to creating and performing high-quality interactive music across distances and together with audiences. IoMusT is not merely transforming our technical environment — it is reshaping the future of musical creativity and expression itself. References Bateman, T. (2012). How MIDI changed the world of music. BBC News 28.11.2012. https://www.bbc.com/news/technology-20425376 Marellabudi, T. (2022). What Is the Internet of Musical Things (IoMusT)? All about Circute News 24.4.2020. https://www.allaboutcircuits.com/news/what-is-the-internet-of-musical-things-iomust Roche, S. (2022). Samsung is releasing a guitar with LED guide lights on its fretboard. Guitar World news 4.1. 2022. https://www.guitarworld.com/news/samsung-zamstar Turchet, L., Benincaso, M. & Fischione, C. (2017). Examples of use cases with Smart Instruments. AM ’17: Proceedings of the 12th International Audio Mostly Conference on Augmented and Participatory Sound and Music Experiences, Article No.: 47, Pages 1–5. https://doi.org/10.1145/3123514.3123553 Turchet, L. (2019). Smart musical instruments: vision, design principles, and future directions. IEEE Access 7 (2019) 8944–8963, http://dx.doi.org/10.1109/ Turchet, L., Antoniazzi, F., Fabio, V. &  Fazekas, G. (2020). The Internet of Musical Things Ontology. Web Semantics: Science, Services and Agents on the World Wide Web 60 (2020) 100548. https://doi.org/10.1016/j.websem.2020.100548 Turchet, L. & Ngo, C.N. (2022). Blockchain-based Internet of Musical Things. Blockchain: Research and Applications 3 (2022) 100083. https://doi.org/10.1016/j.bcra.2022.100083