當(dāng)音樂遇上IoT—— 疫情推動(dòng)音樂物聯(lián)網(wǎng)創(chuàng)新應(yīng)用

在身體疏遠(yuǎn)的時(shí)候，音樂物聯(lián)網(wǎng)的應(yīng)用變得越來(lái)越重要。

之前，我們討論了物聯(lián)網(wǎng)和表演藝術(shù)的融合領(lǐng)域，這種現(xiàn)象被稱為音樂物聯(lián)網(wǎng)或“ IoMusT”。這項(xiàng)技術(shù)僅在COVID-19時(shí)代才變得更加普及，在COVID-19時(shí)代，從演唱的意義上講，不再有許多現(xiàn)場(chǎng)音樂活動(dòng)，例如音樂會(huì)。

以下是我們看到IoMusT出現(xiàn)在實(shí)際應(yīng)用程序中的幾種方法。

基于網(wǎng)絡(luò)的協(xié)作

通過(guò)網(wǎng)絡(luò)連接的音樂表演使音樂家既可以到達(dá)同一地點(diǎn)，也可以到達(dá)偏遠(yuǎn)的觀眾。

IoMusT網(wǎng)絡(luò)框圖。

一個(gè)示例是稱為ReacTable的網(wǎng)絡(luò)音樂表演（NMP）系統(tǒng)，該系統(tǒng)由桌子的可觸摸界面組成，該界面可以跟蹤物體在表面上的移動(dòng)方式，以隨后控制音樂輸出。該界面允許位于不同位置的音樂家與桌子上的物品進(jìn)行協(xié)作，并在同一場(chǎng)音樂會(huì)上進(jìn)行實(shí)時(shí)表演。

ReacTable接口。圖片由ReacTable提供

聯(lián)網(wǎng)的表演還允許各種事物之間的連接，例如智能樂器和可穿戴設(shè)備，從而為音樂家和聽眾成員提供更全面的服務(wù)和音樂合作。聯(lián)網(wǎng)音樂系統(tǒng)可以通過(guò)局域網(wǎng)（LAN），廣域網(wǎng)（WAN）或無(wú)線傳感器網(wǎng)絡(luò)（WSN）進(jìn)行。

互動(dòng)表演

交互式表演通常由配備傳感器的現(xiàn)場(chǎng)表演者和音樂家組成，他們可以使用身體手勢(shì)實(shí)時(shí)控制燈光等媒體元素。數(shù)字樂器是現(xiàn)場(chǎng)表演的關(guān)鍵部分，它映射手勢(shì)以控制樂器的信號(hào)。

創(chuàng)作歌手Imogen Heap是互動(dòng)音樂表演技術(shù)的先驅(qū)。她以開發(fā)MI-MU手套而聞名，這使她能夠通過(guò)手和手臂的動(dòng)作將聽覺元素引入到她的表演中。

MI-MU手套依靠嵌入在織物中的運(yùn)動(dòng)傳感器。圖片由MI-MU提供

《華爾街日?qǐng)?bào)》（Wall Street Journal）作家約翰·于根森（John Jurgensen）解釋說(shuō)：“堆女士并沒有像許多電子藝術(shù)家那樣在舞臺(tái)上擺弄筆記本電腦，而是通過(guò)WiFi連接的手套和自定義動(dòng)作來(lái)控制自己的裝備，例如張開雙臂以增加回聲她的聲音或捏手指以使合成器音調(diào)變亮?！?/span>

虛擬和增強(qiáng)現(xiàn)實(shí)音樂會(huì)

VR和AR界面（包括頭戴式顯示器）可以使用戶沉浸在多感官的音樂體驗(yàn)中。最近，這甚至擴(kuò)展到了將世界各地的人們聯(lián)系起來(lái)的遠(yuǎn)程音樂會(huì)和合作。

這些虛擬環(huán)境有時(shí)包括用戶自己可以演奏的許多虛擬樂器。身臨其境的音樂表演包括3D小部件和圖形元素，允許用戶控制和可視化音樂。例如，Melody VR是一款應(yīng)用程序，可讓您“從沙發(fā)上觀看音樂會(huì)”。

Melody VR是一款允許用戶使用VR技術(shù)體驗(yàn)現(xiàn)場(chǎng)演唱會(huì)表演的應(yīng)用程序。圖片由Melody VR提供

增強(qiáng)現(xiàn)實(shí)通過(guò)將現(xiàn)場(chǎng)表演舞臺(tái)與充滿各種數(shù)字元素和控件以控制音樂過(guò)程的虛擬環(huán)境相疊加，從而增強(qiáng)了現(xiàn)場(chǎng)表演。

Coachella是世界上最大的音樂節(jié)之一，以使用這種沉浸式技術(shù)而聞名。2017年，音樂會(huì)籌劃者為節(jié)慶者發(fā)布了AR / VR應(yīng)用程序。該應(yīng)用程序允許參與者使用粉絲的“ Welcome Box”號(hào)碼作為跟蹤標(biāo)記來(lái)訪問(wèn)AR體驗(yàn)。

音樂觸覺可穿戴設(shè)備

隨著物聯(lián)網(wǎng)技術(shù)變得越來(lái)越復(fù)雜，最近幾年可穿戴設(shè)備出現(xiàn)了巨大的增長(zhǎng)。現(xiàn)在，有許多智能設(shè)備可以用作可穿戴設(shè)備，它們可以感應(yīng)，存儲(chǔ)，分析數(shù)據(jù)并將其發(fā)送回應(yīng)用程序。

IoMusT可用的可穿戴設(shè)備稱為音樂觸覺可穿戴設(shè)備。

該臂章原型是觸覺可穿戴設(shè)備的示例，該設(shè)備可讓一組音樂表演者在即興創(chuàng)作過(guò)程中以非語(yǔ)言方式交換音樂指導(dǎo)。屏幕截圖由Internet of Musical Things提供

這些設(shè)備包括觸覺仿真，手勢(shì)跟蹤和無(wú)線連接。音樂觸覺設(shè)備促進(jìn)了位于同一位置和偏遠(yuǎn)位置的音樂家之間的通信層的增加。

通過(guò)技術(shù)吸引觀眾

近年來(lái)，通過(guò)各種互聯(lián)技術(shù)積極吸引觀眾的趨勢(shì)已經(jīng)增加。這稱為技術(shù)介導(dǎo)的受眾參與（TMAP）。在TMAP表演中，觀眾可以控制通過(guò)智能手機(jī)在音樂會(huì)中傳遞的情緒和視覺內(nèi)容。

一場(chǎng)開放交響樂表演。圖片由Mathieu Barthet提供

這種機(jī)制的示例包括被稱為“情感驅(qū)動(dòng)的互動(dòng)音樂表演”的Mood Conductor和Open Symphony，后者是傳感器和應(yīng)用程序的組合，可讓聽眾影響現(xiàn)場(chǎng)環(huán)境中播放的音樂。

連接音樂愛好者無(wú)處不在

盡管工程師們?cè)?a href="http://srfitnesspt.com/tags/iot/" target="_blank">IoT領(lǐng)域不斷創(chuàng)新，但在物理聚會(huì)（包括音樂家排練，音樂會(huì)和其他音樂聚會(huì)）受到限制的時(shí)候，IoMusT變得越來(lái)越重要。