谷歌最新AI實驗項目，根據(jù)用戶指揮動作實時生成交響樂

谷歌最新AI實驗項目，根據(jù)用戶指揮動作實時生成交響樂，圓你一個指揮家的夢！只需一個攝像頭，瀏覽器內(nèi)即可運行，快來試試吧！

如果你是一位古典樂發(fā)燒友，而且有做樂團指揮的夢想，聽見古典樂就走不動道，就算沒有樂隊，也能自己對著空氣手舞足蹈指揮一番，那么恭喜你，谷歌最新的人工智能實驗項目簡直就是為你量身定制的。而且，不用擔心旁邊有人對你指手畫腳。

這個項目名為“半導體”，其中融合了谷歌過去一系列機器學習實驗中的最新成果。包括AIDuet（邀請用戶在瀏覽器中播放虛擬鋼琴演奏，并提供虛擬伴奏），以及AutoDraw（可以解釋用戶繪制的粗糙涂鴉是什么，并將這些畫作轉(zhuǎn)變成為整潔的剪貼畫）。

該項目可以跟蹤用戶的動作，就像用戶在真正的管弦樂隊前揮舞雙手一樣，并根據(jù)對用戶動作的分析結果，實時生成一段交響樂。

想試試嗎？只需在谷歌瀏覽器中啟動“半導體”，允許其訪問網(wǎng)絡攝像頭權限，然后面向攝像頭后退一步，直到你的手臂位于屏幕內(nèi)的框架中，就可以開始指揮自己的“樂隊”了。不一定非要使用傳統(tǒng)的指揮手勢，本項目會提供建議提示，幫助你一路順利完成指揮。

全程無需指揮棒隨意放飛自我

本項目背后的核心技術是PoseNet，這是一種面向姿勢估計的機器學習模型，可以在瀏覽器中對人的姿勢和動作進行分析和估計。它無需任何專門的硬件或軟件，即可檢測到圖像和視頻中的人物形象。

最重要的是，因為所有處理都在瀏覽器中進行，所以無需向Google或其他任何人發(fā)送任何數(shù)據(jù)，因此你可以完全自娛自樂，無需擔心由于數(shù)據(jù)泄露引發(fā)的一些不必要的尷尬。

這個項目可讓用戶通過瀏覽器管理自己的管弦樂隊。你可以通過移動手臂，來改變交響樂的速度、音量和樂器種類。該項目使用PoseNet，這是一個可在瀏覽器中使用的機器學習庫，通過網(wǎng)絡攝像頭捕捉動作。

PoseNet使用來自現(xiàn)場樂器演奏時錄制的數(shù)百個微小音頻文件，算法會根據(jù)捕捉到的動作信息播放這些音頻。

關于PoseNet和姿勢估計

姿勢估計指的是檢測圖像和視頻中的人物形象的計算機視覺技術，比如可以確定某人的肘部出現(xiàn)在圖像中的位置。需要明確的是，這項技術無法識別圖像中的人物身份。該算法僅僅是估計關鍵身體的關節(jié)在圖像中的相對位置。

姿勢估計有許多用途，比如用于基于身體反應的交互式裝置，以及增強現(xiàn)實設備、動畫制作、健身等用途。過去，雖然許多的姿勢檢測系統(tǒng)是開源的，但都需要專門的硬件或攝像頭，以及相當繁復的系統(tǒng)設置。

由于TensorFlow.js上的PoseNet在可瀏覽器中運行，只要有網(wǎng)絡攝像頭，任何人都能在瀏覽器中體驗這項技術。目前該模型已經(jīng)開源，Javascript的開發(fā)人員只需幾行代碼即可使用。更重要的是，這實際上可以更好地保護用戶的隱私。