NVIDIA Triton推理服務(wù)器幫助Teams使用認知服務(wù)優(yōu)化語音識別模型

Microsoft Teams借助AI生成的實時字幕和轉(zhuǎn)錄功能，幫助全球?qū)W生和職場人士順利進行在線會議。用于訓(xùn)練的NVIDIA AI計算技術(shù)和用于推理語音識別模型的NVIDIA Triton推理服務(wù)器進一步提升了這兩個功能。

Microsoft Teams 是全球溝通和協(xié)作的重要工具，每月有近2.5億活躍用戶。Microsoft Azure 認知服務(wù)為Teams提供28種語言的字幕和轉(zhuǎn)錄，并將很快能夠在NVIDIA GPU上運行關(guān)鍵的計算密集型神經(jīng)網(wǎng)絡(luò)推理。

實時字幕功能幫助與會者實時跟蹤對話，轉(zhuǎn)錄功能方便與會者在日后回顧當時的創(chuàng)意或回看未能參與的會議。

實時字幕對聾啞人、聽力障礙者，或者異國與會者特別有用。

NVIDIA Triton開源推理服務(wù)軟件能夠幫助Teams使用認知服務(wù)優(yōu)化語音識別模型。

使用Triton，認知服務(wù)能夠支持高度先進的語言模型，以極低的延遲實時提供高度準確、個性化的語音轉(zhuǎn)文本結(jié)果。同時，可以保證運行這些語音轉(zhuǎn)文本模型的NVIDIA GPU充分發(fā)揮其潛力，在消耗更少計算資源的同時，為客戶提供更高的吞吐量，進而降低成本。

底層語音識別技術(shù)作為認知服務(wù)中的一個API，開發(fā)人員可以使用它定制和運行自己的應(yīng)用程序——客服電話轉(zhuǎn)錄、智能家居控制或為急救人員提供AI助手。

字字達意的AI

認知服務(wù)會生成Teams的轉(zhuǎn)錄和字幕，將語音轉(zhuǎn)換為文本，并識別說話人。同時也能夠識別專業(yè)術(shù)語 、姓名和其他會議背景，提高字幕的準確性。

Microsoft Teams的通話、會議及設(shè)備首席項目經(jīng)理Shalendra Chhabra表示：“這樣的AI模型非常復(fù)雜，需要數(shù)千萬個神經(jīng)網(wǎng)絡(luò)參數(shù)才能識別幾十種不同的語言。但模型越大，就越難以經(jīng)濟高效地實時運行?！?/p>

NVIDIA GPU和Triton軟件能夠幫助微軟在不犧牲低延遲的情況下，通過強大的神經(jīng)網(wǎng)絡(luò)，實現(xiàn)高準確性，確保語音-文本的實時轉(zhuǎn)換。

當啟用轉(zhuǎn)錄功能時，與會者可以在會議結(jié)束后輕松補上錯過的內(nèi)容。

Triton三大功能推動效率提升

NVIDIA Triton有助于簡化AI模型部署，并解鎖高性能推理。用戶甚至可以為自己的應(yīng)用開發(fā)自定義后端。軟件的一些關(guān)鍵功能可將Microsoft Teams的字幕和轉(zhuǎn)錄功能擴展到更多會議和用戶，包括：

流推理：新型流推理功能——通過跟蹤語音上下語境，提高延遲、敏感性字幕的準確度，它助力NVIDIA和Azure認知服務(wù)合作定制語音轉(zhuǎn)文本的應(yīng)用程序。

動態(tài)合批：批大小指神經(jīng)網(wǎng)絡(luò)同時處理的輸入樣本數(shù)量。通過Triton的動態(tài)合批，單項推理請求被自動組合成一個批次，因此能夠在不影響模型延遲的情況下更好地利用GPU資源。

并發(fā)模型執(zhí)行：實時字幕和轉(zhuǎn)錄需要同時運行多個深度學(xué)習(xí)模型。Triton使開發(fā)人員能夠在單個GPU上同時完成這些工作，包括使用不同深度學(xué)習(xí)框架的模型。

即刻啟程，借助Azure 認知服務(wù)，在您的應(yīng)用中使用語音轉(zhuǎn)文本的功能，并進一步了解NVIDIA Triton 推理服務(wù)軟件如何幫助團隊大規(guī)模部署AI模型。

NVIDIA 將參加 CES 2022， 并將在 1 月 5 日凌晨 0 點（北京時間）發(fā)表 NVIDIA 特別演講。

NVIDIA GeForce 高級副總裁 Jeff Fisher 和 NVIDIA 汽車部門副總裁兼總經(jīng)理 Ali Kani 將展示加速計算在設(shè)計、仿真、游戲和自動駕駛汽車方面的新突破。

原文標題：Microsoft Azure 認知服務(wù)和NVIDIA AI提升Microsoft Teams實時字幕和轉(zhuǎn)錄功能

文章出處：【微信公眾號：NVIDIA英偉達】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。