音視頻技術(shù)開發(fā)之淺析

Hulu 視頻QoS優(yōu)化策略

QoS直接關(guān)系到用戶體驗，如何提升QoS就成為視頻平臺技術(shù)實力的體現(xiàn)。本文來自Hulu全球高級研發(fā)經(jīng)理、視頻編解碼與傳輸領(lǐng)域資深專家傅徳良在LiveVideoStackCon 2017上的分享。盡管Hulu提供服務(wù)的網(wǎng)絡(luò)環(huán)境與國內(nèi)大相徑庭，但其相關(guān)QoS保障策略依然值得借鑒。

微博短視頻服務(wù)優(yōu)化實踐

本文來自新浪微博視頻轉(zhuǎn)碼平臺技術(shù)負責人李成亞在LiveVideoStackCon 2017上的分享，由LiveVideoStack整理成文。李成亞分享了微博短視頻如何提升用戶體驗、降低成本的思路與實踐，包括提升短視頻發(fā)布速度，降低長視頻轉(zhuǎn)碼時間，通過新的Codec減少帶寬成本等。

熊貓TV直播H5播放器架構(gòu)探索

本文來自熊貓TV音視頻技術(shù)專家姜雨晴在LiveVideoStackCon 2017上的分享，并有LiveVideoStack整理成文。當下，打造一款播放器已經(jīng)有比較好的開源實現(xiàn)，但熊貓TV為什么還要自研一款H5播放器呢？為了保證業(yè)務(wù)持續(xù)擴展能力，需要對播放器做解耦。同時，在播放器上線初期還遇到了音畫不同步、故障定位、客戶端性能不足等問題。

Dubbo源碼分析 -- 遠程通信 Netty

Dubbo 做為 RPC 框架，需要進行跨 JVM 通信，要保證高性、穩(wěn)定的進行遠程通信。Dubbo 底層通信選擇了 Netty 這個 NIO 框架做為默認的網(wǎng)絡(luò)通信框架并且通過自定義協(xié)議進行通信。

中國電信發(fā)布全球首份5G技術(shù)白皮書

2018年6月26日，中國電信在2018上海世界移動大會（MWCS）上發(fā)布了《中國電信5G技術(shù)白皮書》，這也是全球MNO運營商首次發(fā)布全面闡述5G技術(shù)觀點和總體策略的白皮書。

音頻開源代碼中重采樣算法的評估與選擇

在音頻軟件實現(xiàn)中經(jīng)常會遇到兩個模塊采樣率不一致的情況，比如語音通話時采集到的PCM信號是16k Hz的，但編碼時codec是AMR-NB（AMR-NB是8k Hz采樣），這時就需要把16k Hz采樣的PCM值轉(zhuǎn)換成8k Hz采樣的PCM值（這叫降采樣或者下采樣），然后再去做AMR-NB編碼。本文介紹如何評估開源代碼里的重采樣實現(xiàn)以及選擇最適合的實現(xiàn)。

音頻/視頻技術(shù)

Google 實時流擁塞控制算法GCCx1wan

GCC是google實時流擁塞控制算法的簡稱，已經(jīng)在WebRTC中實現(xiàn)，應(yīng)用于Chrome，后面將應(yīng)用到Hangouts（視頻聊天產(chǎn)品）中，主要用于視頻流的擁塞控制。

FFmpeg中的scale和crop參數(shù)FlyingPenguin

FFmpeg中的libavfilter提供了一整套的基于filter的機制。filter本身是一個插件的形式，可以快速的組裝需要的效果。本文簡單介紹了通過filter實現(xiàn)視頻的水平鏡像效果。

iOS中獲取音頻流并提取pcmCNon

本文簡要介紹了兩種不同的原始音頻流獲取方式 AVCaptureSession、AudioUnit，以及如何從AudioUnit獲取的原始數(shù)據(jù)中提取pcm。

用getDisplayMedia實現(xiàn)在Chrome中共享屏幕

Chrome網(wǎng)上商店已決定停止允許Chrome擴展程序的內(nèi)聯(lián)安裝。這對WebRTC應(yīng)用程序有相當大的影響，因為Chrome中的屏幕共享目前還需要擴展程序。getDisplayMedia能來解決這個問題嗎？本文來自appear.in的WebRTC工程師Philipp Hancke，LiveVideoStack對文章進行了摘譯。

編解碼

基于鏡頭的編碼

基于鏡頭的編碼比基于主題的編碼帶來更高的編碼效率，由于對內(nèi)容感知的粒度更加細，這種改變的結(jié)果顯而易見。然而，更細粒度的編碼也會帶來更高的負責度，比如在AWS環(huán)境中，在基礎(chǔ)設(shè)施服務(wù)失效的情況下，如何最大限度的保留已編碼的成果，從而減少重復編碼工作。本文來自Netflix的科技博客，LiveVideoStack對原文進行了摘譯。

視頻編碼步入更壓縮高性能時代

目前，針對海量多媒體數(shù)據(jù)的壓縮和處理，特別是VR和HDR視頻數(shù)據(jù)，開發(fā)并提出新的高性能codec及處理方案是多媒體通信應(yīng)用行業(yè)共同面臨的難題。MPEG已經(jīng)開始著手更新一代視頻編解碼標準VVC的制定，視頻壓縮性能有望進一步大幅提高。在此背景下，本文簡要梳理一下當前針對大規(guī)模多媒體數(shù)據(jù)的高效壓縮技術(shù)。

用 JavaScript 編寫 MPEG1 解碼器柒緣生活吧

本文主要介紹了用JavaScript編寫MPEG1解碼器的開發(fā)過程中的一系列問題：JSMpeg中實現(xiàn)音頻流傳輸?shù)倪壿嫿M件構(gòu)成及流程，MPEG內(nèi)部的YUV格式轉(zhuǎn)換等。

UIImage圖片解碼的性能優(yōu)化吳家十三少

用 UIImage 或 CGImageSource 的那幾個方法創(chuàng)建圖片時，圖片數(shù)據(jù)并不會立刻解碼。圖片設(shè)置到 UIImageView 或者 CALayer.contents 中去，并且 CALayer 被提交到 GPU 前，CGImage 中的數(shù)據(jù)才會得到解碼。本文主要介紹了圖片解碼時產(chǎn)生的性能問題及優(yōu)化。

Android音視頻系列：H264視頻編碼介紹

本文從配置編碼參數(shù)、輸入要編碼的圖像幀、編碼數(shù)據(jù)生成等方面介紹了使用X264開源庫編碼的H264視頻編碼技術(shù)。

AI智能

簡單初始化，訓練10000層CNN

如何快速簡單地訓練神經(jīng)網(wǎng)絡(luò)？谷歌大腦研究人員研究了CNN的可訓練性，提出了一種簡單的初始化策略，不需要使用殘差連接或批標準化，就能訓練10000層的原始CNN。作者表示，他們的這項工作清除了在訓練任意深度的原始卷積網(wǎng)絡(luò)時存在的所有主要的障礙。

步態(tài)識別的深度學習:綜述

步態(tài)是人在行走過程中姿態(tài)的變化.不同于人臉、指紋、虹膜等, 步態(tài)是唯一可在遠距離非受控狀態(tài)下獲得的生物特征.步態(tài)識別指利用步態(tài)信息對人的身份進行識別的技術(shù)，當前關(guān)于步態(tài)識別方面的研究綜述主要圍繞在相關(guān)手工特征建模和傳統(tǒng)機器學習(非深度學習)的識別算法上.

卷積神經(jīng)網(wǎng)絡(luò)的壓縮和加速

本文介紹了比較常見的4種卷積神經(jīng)網(wǎng)絡(luò)壓縮和加速方法，其中網(wǎng)絡(luò)裁枝與低秩估計的方法從矩陣乘法角度，著眼于減少標量乘法和加法個數(shù)來實現(xiàn)模型壓縮和加速的；而模型量化則是著眼于參數(shù)本身，直接減少每個參數(shù)的存儲空間，提升每次標量乘法和加法的速度，從而實現(xiàn)模型的壓縮和加速；模型蒸餾方法卻是從宏觀結(jié)構(gòu)入手，直接構(gòu)造了結(jié)構(gòu)簡單，參數(shù)少的小網(wǎng)絡(luò)，將難點轉(zhuǎn)移成對小網(wǎng)絡(luò)的訓練上。

場景文本檢測—CTPN算法介紹

對于復雜環(huán)境中的字符的識別，主要包括文字檢測和文字識別兩個步驟，這里介紹的CTPN(Detecting Text in Natural Image with Connectionist Text Proposal Network)方法就是在場景中提取文字的一個效果較好的算法，能將自然環(huán)境中的文本信息位置加以檢測。

圖像

騰訊優(yōu)圖CVPR 2018論文：圖片去模糊及快速肖像處理等多項技術(shù)解讀

在慢速曝光或快速運動拍攝照片時，圖像模糊常常困擾著照片拍攝者。騰訊優(yōu)圖實驗室的新算法，可以處理非特定場景中的圖片模糊。算法基于一種被稱為「動態(tài)模糊」的模糊模型假設(shè)。

使用 MATLAB 圖像處理算法，視頻實時加持藍天背景

本文將以色度鍵控效果為例，介紹在嵌入式硬件上部署 MATLAB 圖像處理算法的簡單工作流。我們將使用 MATLAB Coder? 通過算法生成C代碼，然后使用在硬件上運行的實用程序在 Raspberry Pi 板卡上進行算法原型驗證。最后，我們將算法移植至 NVIDIA Jetson Tx1 平臺以保證實時性能。