美團(tuán)是一家集生活服務(wù)及商品零售的電商平臺(tái),公司聚焦“零售+科技”戰(zhàn)略,以“吃”為核心,通過(guò)科技創(chuàng)新,服務(wù)于生活服務(wù)業(yè)需求側(cè)和供給側(cè)數(shù)字化升級(jí)。美團(tuán)在中國(guó)業(yè)務(wù)涵蓋餐飲、配送、網(wǎng)約車、共享單車、酒店及旅游預(yù)訂、電影票務(wù)等 200 多個(gè)服務(wù)品類,覆蓋全國(guó) 2800 個(gè)市區(qū)縣,服務(wù) 6.7 億活躍用戶和 830萬(wàn)活躍商家。
伴隨著用戶規(guī)模的提升和業(yè)務(wù)的精細(xì)化運(yùn)營(yíng),業(yè)務(wù)側(cè)對(duì)推薦系統(tǒng)的準(zhǔn)確度、吞吐能力和時(shí)延都提出了新的挑戰(zhàn),而 CTR 模型作為推薦系統(tǒng)的核心模型,其效果直接影響業(yè)務(wù)的收入。
美團(tuán)的 CTR 模型過(guò)去一直在使用 CPU 推理的方式,但隨著用戶訪問(wèn)量的提升和深度神經(jīng)網(wǎng)絡(luò)的引入,CTR 模型結(jié)構(gòu)趨于復(fù)雜,吞吐和計(jì)算量也越來(lái)越大,CPU 開(kāi)始不能滿足模型對(duì)于算力的需求,而僅僅通過(guò) CPU 服務(wù)器的堆疊帶來(lái)的性能提升性價(jià)比相較偏低。
而 GPU 擁有數(shù)以千計(jì)的計(jì)算核心,可以在單機(jī)內(nèi)提供密集的并行計(jì)算能力,特別適合深度學(xué)習(xí)場(chǎng)景,在行業(yè)內(nèi)已經(jīng)在 CV 、NLP 等領(lǐng)域展示了強(qiáng)大的能力。通過(guò) CUDA 及相關(guān) API ,NVIDIA 建立了完整的 GPU 生態(tài)系統(tǒng)。基于此,美團(tuán)基礎(chǔ)研發(fā)平臺(tái)將 CTR 模型部署到 GPU 上,并通過(guò)一系列針對(duì) CPU 與 GPU 的異構(gòu)系統(tǒng)并行計(jì)算設(shè)計(jì)、數(shù)據(jù)存儲(chǔ)方式和傳輸方式上的特定優(yōu)化,希望能通過(guò) GPU 強(qiáng)大的計(jì)算力,協(xié)助美團(tuán)在 CTR 預(yù)測(cè)的各業(yè)務(wù)場(chǎng)景中發(fā)揮出最大優(yōu)勢(shì)。
為了解決算力瓶頸及上述各種挑戰(zhàn),美團(tuán)機(jī)器學(xué)習(xí)平臺(tái)采用 NVIDIA AI 計(jì)算平臺(tái),在繼 CV 、NLP 及 CTR 訓(xùn)練后,也使用了 NVIDIA T4 來(lái)提供 CTR 預(yù)測(cè)支持,大幅提升用戶體驗(yàn)與服務(wù)穩(wěn)定性。除此之外,時(shí)延也是業(yè)務(wù)側(cè)非常重視的性能指標(biāo),許多復(fù)雜模型縱有更好的準(zhǔn)確度,但卻因響應(yīng)時(shí)間不達(dá)標(biāo)而無(wú)法落地應(yīng)用,例如,在某搜索框自動(dòng)補(bǔ)全的場(chǎng)景,由于天然的交互屬性,時(shí)延要求非??量?,一般來(lái)說(shuō)無(wú)法使用復(fù)雜的模型。而在 GPU 能力的加持下,其復(fù)雜模型的平均響應(yīng)時(shí)間從 15 毫秒降低至 6~7 毫秒,足足縮短了一倍多,達(dá)到了上線要求。
通過(guò) NVIDIA T4 深度優(yōu)化方案,成功為美團(tuán) CTR 模型創(chuàng)造更多應(yīng)用機(jī)會(huì),不僅極大地提升了系統(tǒng)吞吐量,更進(jìn)一步地提升了整個(gè)模型訓(xùn)練的速度與降低訓(xùn)練成本,落實(shí) AI 框架在 GPU 上性能推理的優(yōu)化實(shí)踐。
美團(tuán)研發(fā)工程師,機(jī)器學(xué)習(xí)平臺(tái)預(yù)測(cè)引擎負(fù)責(zé)人王新表示,“在美團(tuán)和英偉達(dá)的共同努力下, CTR 預(yù)測(cè)服務(wù)成功的遷移到 GPU 平臺(tái)上,在為業(yè)務(wù)提供更好的支撐的同時(shí)也獲得了更好的性價(jià)比;下一步,機(jī)器學(xué)習(xí)平臺(tái)計(jì)劃采用 NVIDIA Triton 推理服務(wù)框架和 NVIDIA Ampere A30 ,進(jìn)一步提升美團(tuán)推理服務(wù)的效率?!?/p>
原文標(biāo)題:美團(tuán)機(jī)器學(xué)習(xí)平臺(tái)使用 NVIDIA GPU 助力公司 CTR 預(yù)測(cè)服務(wù)升級(jí)
文章出處:【微信公眾號(hào):NVIDIA英偉達(dá)企業(yè)解決方案】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
-
cpu
+關(guān)注
關(guān)注
68文章
10772瀏覽量
210453 -
NVIDIA
+關(guān)注
關(guān)注
14文章
4817瀏覽量
102637 -
AI
+關(guān)注
關(guān)注
87文章
29393瀏覽量
267687 -
美團(tuán)
+關(guān)注
關(guān)注
0文章
123瀏覽量
10328
原文標(biāo)題:美團(tuán)機(jī)器學(xué)習(xí)平臺(tái)使用 NVIDIA GPU 助力公司 CTR 預(yù)測(cè)服務(wù)升級(jí)
文章出處:【微信號(hào):NVIDIA-Enterprise,微信公眾號(hào):NVIDIA英偉達(dá)企業(yè)解決方案】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論