你喜歡合成器驅(qū)動的樂隊,比如 Depche Mode 、 Erasure 或 Kraftwerk 嗎?你想過在家里用合成器創(chuàng)作自己的音樂有多酷嗎?如果在NVIDIA 的幫助下,這一過程能得到加強呢 Jetson 納米 ?
最新的 Jetson 本月最佳項目 已經(jīng)找到了一種方法來實現(xiàn)這一點,將 Eurorack synthesizer 與 Jetson 納米結(jié)合起來,創(chuàng)造了 Neurorack 。這款音樂音頻合成器是第一款將深度生成模型的強大功能與 Eurorack 機(jī)器的緊湊性相結(jié)合的產(chǎn)品。
“這個項目的目標(biāo)是設(shè)計下一代樂器,為音樂家提供一種新的工具,同時增強音樂家的創(chuàng)造力。它提出了一種新的思考和創(chuàng)作音樂的方法,”這些應(yīng)用程序開發(fā)人員指出,他們是人工創(chuàng)造智能和數(shù)據(jù)科學(xué)([about] and compose music ,” noted the app developers , who are members of Artificial Creative Intelligence and Data Science ( ACIDS )小組的成員,總部設(shè)在法國巴黎的 IRCAM 實驗室。“我們深信人工智能可以用來實現(xiàn)這一目標(biāo)?!?/p>
Neurorack 的實時功能依賴于 Jetson Nano 的處理能力和 尼農(nóng)·戴夫的研究 制作訓(xùn)練模型,這些模型在計算和內(nèi)存占用方面都很輕。
“我們最初的夢想是找到一種方法,將深度模型小型化,并允許它們嵌入嵌入式音頻硬件和合成器中。由于我們對各種形式的合成器都充滿熱情,尤其是Eurorack,我們認(rèn)為直接使用這種格式是有意義的,因為它更有趣Nano從一開始就是我們的首選…它讓我們能夠在不損失音質(zhì)的情況下依賴深度模型,同時保持實時性限制,”Devis說。
開發(fā)商在接近該項目時有幾個關(guān)鍵的設(shè)計考慮,包括:
音樂性:選擇的生成模型可以產(chǎn)生不使用樣本就無法合成的聲音。
可控性:他們選擇的界面方便且易于操作。
實時性:硬件的行為就像傳統(tǒng)的合成器,并且同樣具有反應(yīng)性。
獨立功能:無需電腦即可播放。
正如開發(fā)人員在他們的 NVIDIA 開發(fā)者論壇帖子 中提到的這個項目:“該模型基于一種改進(jìn)的神經(jīng)源濾波器架構(gòu),它允許基于描述符的打擊聲音實時合成?!?/p>
Neurorack 使用 PyTorch 深度音頻合成模型(見圖 1 )生成通常需要樣本的聲音,易于操作,不需要單獨的計算機(jī)。
圖 1 : diagram 顯示模塊的總體結(jié)構(gòu)以及硬件和軟件(綠色)組件之間的關(guān)系。
硬件具有四個控制電壓( CV )輸入和兩個門(以及用于處理菜單的屏幕、旋轉(zhuǎn)和按鈕),它們都與特定的 Python 庫通信。這些控件(以及模塊本身)的行為高度依賴于嵌入的深層模型的類型。對于 Neurorack 的第一個版本,開發(fā)人員實現(xiàn)了一個基于描述符的沖擊聲音生成器,如他們的 GitHub 文檔 中所述。
Eurorack 的硬件和軟件是由 ACIS 團(tuán)隊的 Ninon Devis 、 Philippe Esling 和 Martin Vert 共同開發(fā)的。根據(jù)他們 網(wǎng)站 的說法, ACIDS “一心想通過開發(fā)創(chuàng)新的人工智能模型來模擬音樂創(chuàng)造力。”
項目代碼和硬件設(shè)計是免費的、開源的,可在 GitHub repository 中獲得。
該團(tuán)隊希望讓音樂家和對人工智能/嵌入式計算感興趣的人也能訪問該項目。
“我們希望這個項目能引起兩個社區(qū)的興趣!現(xiàn)在復(fù)制這個項目有點技術(shù)性,但我們將致力于簡化部署,希望能找到其他像我們這樣奇怪的人,” Devis 說。“我們堅信,為音樂開發(fā)機(jī)器學(xué)習(xí)模型的一個關(guān)鍵方面將導(dǎo)致賦予創(chuàng)造性表達(dá)能力,即使對非專家也是如此。”
兩名團(tuán)隊成員 Devis 和 Esling 使用他們開發(fā)的樂器組建了一支樂隊。他們目前正在制作一部全長的真人秀,將以 Neurorack 為特色,并計劃在今年 4 月的下一場 法國綜合藝術(shù)節(jié) 中表演。
關(guān)于作者
Jason Black是 NVIDIA 的自主機(jī)器營銷和通信高級經(jīng)理。作為過去 25 年的作家和編輯,他喜歡在流行語背后尋找故事的核心。看到機(jī)器人 MIG 把他帶到哪里,他很興奮。
審核編輯:郭婷
-
NVIDIA
+關(guān)注
關(guān)注
14文章
4818瀏覽量
102650 -
電腦
+關(guān)注
關(guān)注
15文章
1674瀏覽量
68546 -
acis
+關(guān)注
關(guān)注
0文章
5瀏覽量
3156
發(fā)布評論請先 登錄
相關(guān)推薦
評論