AI工程的實踐者：機器學(xué)習(xí)有RPA結(jié)合的必要性

11 月 8-9 日，CSDN 和 AICamp 聯(lián)合舉辦的 AI 開發(fā)者大會在北京順利舉行。普元移動產(chǎn)品線總經(jīng)理郝振明發(fā)表了《基于機器學(xué)習(xí)的工程實踐》的主題演講，并接受了專訪。

以下內(nèi)容為郝振明的演講與采訪總結(jié)，文內(nèi)略有刪減：

演講

機器學(xué)習(xí)有RPA結(jié)合的必要性

今天的演講主題是根據(jù)普元在 RPA 實踐過程中的一些經(jīng)驗分享，是從工程化的角度來探討如何解決特定領(lǐng)域中的問題。RPA （Robotic Process Automation），就是把人重復(fù)性勞動通過自動化手段去完成。例如，有些公司代理申報納稅，這個工作流程是比較繁瑣的，直到最后完成提交，需要大量重復(fù)錄入的工作。整個流程非常耗費人力，而我們所做的主要工作就是把其中重復(fù)性的勞動交給軟件來完成，用軟件方式解決一個跨系統(tǒng)的問題。而我今天的分享將結(jié)合財務(wù)工作中報銷工作環(huán)節(jié)的實現(xiàn)和大家進行探討。

首先，RPA 不適合小型企業(yè)。因為小型企業(yè)不涉及大量的重復(fù)性工作，所以，明確了這個前提：RPA 適合大型企業(yè)，集團型企業(yè)幾乎都會做財務(wù)共享中心。在現(xiàn)實中，員工提交粘貼好的發(fā)票后，剩下的工作都需要財務(wù)共享中心來完成，在這個場景中為什么應(yīng)用 RPA 是最合適的？RPA 傳統(tǒng)做法是需要結(jié)構(gòu)化數(shù)據(jù)，就這個需求而言，核對發(fā)票真實性，把電子版發(fā)票變成有用的信息，低效易錯的手填發(fā)票，人工智能在很大程度上解決了這些繁瑣的工作流程。

機器學(xué)習(xí)有RPA結(jié)合的工程實踐

而我們現(xiàn)在努力解決的工作主要有三點：以獲取結(jié)構(gòu)化數(shù)據(jù)為前提、使流程高度標(biāo)準化、其核心技術(shù)采用 GUI 的錄制與回放。此方法基于非現(xiàn)實世界的目標(biāo)檢測和驅(qū)動，與此進行交互的不是人類而是系統(tǒng)，絕大多數(shù)情況下通過遷移的方法。

在獲取結(jié)構(gòu)化數(shù)據(jù)的過程中還存在一些技術(shù)難點。比如某些出租車發(fā)票上的字體，人眼可能也無法分辨清楚。我們又該如何做到呢？是否有一個通用的算法模型或神經(jīng)網(wǎng)絡(luò)可以直接解決？經(jīng)過我們的研究發(fā)現(xiàn)，這還是一件有難度的事情。尤其是增值稅專票的處理與增值稅普通發(fā)票的處理都還存在著不同之處。到這里我們就知道，首先要做的就是先要對發(fā)票進行分類，而僅有類型的分類是不夠的，還需要做具體內(nèi)容的識別，如到底公司名稱及金額。這些工作原來都是人工手動完成的，我們把整個流程在經(jīng)過紙質(zhì)化轉(zhuǎn)化成電子化后進一步做了分解。

如何做發(fā)票的分類處理？首先要全程跟蹤電子發(fā)票，這是軟件系統(tǒng)就可以完成的工作，并不需要復(fù)雜的機器學(xué)習(xí)算法。接下來，發(fā)票類型決定了后續(xù)如何進行處理與訓(xùn)練。經(jīng)過我們的實踐發(fā)現(xiàn)，進行發(fā)票內(nèi)容識別時，用同一個 OCR 模型并不能識別所有類型發(fā)票中的內(nèi)容。比如，出租車發(fā)票是點陣擊打形成的，這就是一個比較難處理的問題。在前期分類，各模型處理后，某個效果如果仍然不好，我們就會單獨針對性的解決，不再做整體處理。在分類處理發(fā)票步驟中，我們主要使用 Fast-RCNN 模型，從時間角度來說更符合我們期望得到的效率。

目標(biāo)檢測之后，我們得到了更好的圈定范圍，排除了那些無意義，會產(chǎn)生干擾的部分。我們沒有找到一個通用數(shù)據(jù)集去訓(xùn)練模型，我們是自己在一個不大的數(shù)據(jù)集上實現(xiàn)的，效果還可以。但是，在這個過程中，也結(jié)合了其他的技術(shù)手段。我們在訓(xùn)練網(wǎng)絡(luò)模型的時候發(fā)現(xiàn)了一些點，有時候彩色是有幫助的，有時候它也是一種干擾，反而用黑白色效果更好，所以我們把兩個網(wǎng)絡(luò)同時訓(xùn)練。在預(yù)測階段轉(zhuǎn)成彩色圖或灰圖，對比并選擇更優(yōu)效果。

上面談到的主要是發(fā)票分類的問題，在實踐過程中，我們還發(fā)現(xiàn)了一個不可忽視的重要問題——發(fā)票的數(shù)量。粘貼發(fā)票可以是單張也可以是多張，當(dāng)單張的情況下，我們通過剛剛講的一些方法來解決，但當(dāng)不止一張的時候該如何去做？首先要對發(fā)票進行識別及切圖，然后進行擺正、文字區(qū)域識別，文字內(nèi)容識別等。我們得到的切圖效果還是可以的，準確度達到了 90% 以上。而發(fā)票的檢測，切分及識別更多是為了后續(xù)的工作。如果直接交給 OCR 系統(tǒng)實現(xiàn)的效果一般，無法分清普通發(fā)票和增值稅發(fā)票的情況下，我們會把兩張發(fā)票進行合并，但是后續(xù)也會帶來一些隱患。最后，我們用了一個掃描二維碼的功能，這是一個簡單的步驟。我們對用二維碼掃描得到的信息做分類，第一個字段目前沒用，第二個字段表明發(fā)票類型。這里特別提到一點就是二維碼信息的作用，除了提供了發(fā)票類型，在后續(xù)的一個場景中也起到了關(guān)鍵作用。

接下來，想和大家探討的第二個大問題是關(guān)于數(shù)據(jù)集和模型訓(xùn)練。我們自己也有一些定位，一開始在訓(xùn)練效果不是很好的情況下，我們又加入了一些數(shù)據(jù)集重新訓(xùn)練，從 60% 提升至 80%多，我們也會根據(jù)結(jié)果不斷的調(diào)整模型。

進入下一環(huán)節(jié)，涉及選擇 SaaS 服務(wù)還是私有化方案。我個人更傾向于 SaaS 服務(wù)，相對成熟。但在這里需要考慮一個問題，發(fā)票報銷涉及很多流程，很多信息會被泄露，通常建議使用 SaaS 模型，但一些特殊情況下必須考慮私有化方案。

OCR 識別中還需要講到三個比較關(guān)鍵的問題：對稍微有傾斜的發(fā)票，OCR 效果不好，需要增加一個環(huán)節(jié)，先擺正；字體不清晰的情況下，先用場景類文字檢測方法進行區(qū)域檢測；文字識別過程涉及特殊字體時，進行針對性不同的處理。判斷發(fā)票類型，調(diào)整等工作用傳統(tǒng)的 CNN 就可以完成；檢測文本我們用到的是 CTPN 模型。

我們還做了一個工作就是自建訓(xùn)練數(shù)據(jù)集，通過之前貼圖我們獲得了單張圖，并自動把每張圖旋轉(zhuǎn)成 0 度、 90 度、180 度及 270 度。

未來，機器學(xué)習(xí)會融入各個行業(yè)，我們主要把機器學(xué)習(xí)的方法與工程進行結(jié)合與實踐。機器學(xué)習(xí)與 RPA 結(jié)合的過程中，非結(jié)構(gòu)化數(shù)據(jù)的結(jié)構(gòu)化、智能的工作流、基于 NLP 及檢測技術(shù)下的自動化，這三個工作我們都在實踐，現(xiàn)在第一和第三個工作取得的效果還可以。未來，我們會在各個領(lǐng)域結(jié)合機器學(xué)習(xí)、比較成熟并且效果好的網(wǎng)絡(luò)，我們也會特別關(guān)注先前工作為后續(xù)工作帶來的啟發(fā)。

采訪

AI科技大本營：可以先介紹一下您自己和負責(zé)團隊的情況嗎？

郝振明：我在普元已經(jīng)近 16、17 年的時間了。最早在公司是做 JAVAEE 的，后來公司業(yè)務(wù)需要移動產(chǎn)品，我就轉(zhuǎn)到移動產(chǎn)品研發(fā)。最近，從 2014 年開始，我有 1/3 左右的精力在人工智能上，原因很簡單，任何一個事物，在我們公司內(nèi)部都不是立刻顯現(xiàn)、被需求的，會經(jīng)歷一個孵化階段。對我們團隊而言，就是一個不斷孵化的過程。我們在先進領(lǐng)域都是從不懂到開始學(xué)習(xí)，慢慢成長起來的。為什么關(guān)注人工智能？我認為，未來的設(shè)備可能不一定是移動智能手機，但一定從智能手機開始的。所以對我而言，這是一個切入點。未來，我是都會一直在這個方向走下去，更多的從公司業(yè)務(wù)需要出發(fā)，尋找個人的方向。

AI 科技大本營：您和您的團隊目前的工作是公司面向 AI 的主要方向或業(yè)務(wù)突破口嗎？

郝振明：我們有幾條線，每條線路都會有。從我個人角度而言，我認為我們可能會取得的突破多一些。原因有幾點：首先，我們進入比較早，大概在 2013、2014 年就開始嘗試了。到了 2016、2017 年，不敢說做的怎么樣，但至少是愿意和大家進行分享的。其次，我們也做了投入，未來很多場景都會有人工智能，而不是部分公司。公司也是認為“人工智能會融入到各個產(chǎn)品線”。

AI科技大本營：您公司和團隊在做 AI 相關(guān)工作時有哪些思想和經(jīng)驗可以和大家分享一下嗎？

郝振明：其實，在過去的幾年里，我們在很多領(lǐng)域進行了不斷地嘗試與分享。去年，我做過一次分享，主要圍繞 AI 如何與開發(fā)結(jié)合的相關(guān)問題。所以，除了大家都比較關(guān)注的基礎(chǔ)層面的工作，我們其實更多關(guān)注如何在解決實際業(yè)務(wù)中結(jié)合 AI 。今天的分享中主要講到的是 RPA，用簡單易理解的方式來解釋，就是通過自動化手段完成一些具有很多重復(fù)性勞動的業(yè)務(wù)與工作。主要講到的財務(wù)報銷環(huán)節(jié)。這里面包含很多重復(fù)性人力勞動，不僅耗時耗歷，效率也不高。所以，基于這個場景出發(fā)，我們研發(fā)了自己的 RPA。但是在完整的技術(shù)解決方案中，我們也不是全部依賴 AI，我們發(fā)現(xiàn)，傳統(tǒng)方法有可能取得更好的效果。所以，我們在實際工作中，如何與 AI 結(jié)合有兩個主要觀點：我們需要 AI 但不單獨講 AI ，我們更關(guān)注 AI 如何與實際業(yè)務(wù)場景結(jié)合；我們不會為了使用 AI 而用 AI，在 AI 真的有更好的發(fā)揮作用的時候結(jié)合 AI，最終為企業(yè)提供智能化的解決方案。

在這次在分享中我也講到了我們的一些方法和思想。首先，我們都是從實際業(yè)務(wù)場景出發(fā)。對于我們來說，理論的創(chuàng)新，算法性能的提升，基礎(chǔ)工具的研發(fā)等基礎(chǔ)層面取得突破工作相比，我們更傾向不斷豐富業(yè)務(wù)落地場景，在實際場景中解決問題。這也許不是用的最新的網(wǎng)絡(luò)模型、算法就足夠的。但是可以讓企業(yè)可以具備更智能化的問題解決方法，對整個市場，對企業(yè)客戶乃至每個職員都會產(chǎn)生影響，這也是我們在此方向上努力的原因。

于此同時，在我們的工程實踐中，仍然會面臨很多的挑戰(zhàn)。比如在 RPA 就還存在很多問題，分享中我也提到了，RPA 必須需要結(jié)構(gòu)化數(shù)據(jù)，我們在這方面也做了很多工作后，發(fā)現(xiàn)非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)化結(jié)構(gòu)化數(shù)據(jù)時，人工智能的優(yōu)勢非常明顯，在這個過程中我們用到了一些算法和模型。通過不斷的實踐，找到最適合的算法，在結(jié)合我們的算力和數(shù)據(jù)完成一個智能化的工作流程。在一些算法也不能很好的解決某些問題時，我們進行單獨分析，加入一些輔助方法或環(huán)節(jié)。除了關(guān)注研究前沿，我們在現(xiàn)實業(yè)務(wù)工程化時一般會挑選一些相對成熟的算法或網(wǎng)絡(luò)，但是我們不聚焦于某一種算法，而是聚焦于那些適合、可以在當(dāng)前的場景下發(fā)揮更大的作用。

就像大家都比價熟悉的 OCR 技術(shù)，但我們在工程實踐中就會發(fā)現(xiàn)，應(yīng)用在特定，專業(yè)領(lǐng)域中會效果不一定一樣的好。比如在 RPA 中，識別增值稅發(fā)票內(nèi)容時，當(dāng)字太小，不清晰，套打走行等多種復(fù)雜情況同時存在時，如何運用 OCR 技術(shù)并取得良好的效果？所以，我們需要我們的人才專注在某一特定領(lǐng)域，解決實際問題。

公司層面，其實在不同領(lǐng)域都有進行嘗試，無論是在開發(fā)階段，還是應(yīng)用階段。不僅是技術(shù)的驗證，我們努力結(jié)合每一個業(yè)務(wù)場景，專注落地。

AI科技大本營：您剛才提到的很多還是涉及 RPA 在財務(wù)報銷環(huán)節(jié)的應(yīng)用，是首先在這個環(huán)節(jié)落地的嗎？這是主打場景，還是除此之外也有別的？

郝振明：是的，我們最先實踐的場景是財務(wù)報銷環(huán)節(jié)，而實現(xiàn)業(yè)務(wù)流程自動化以提到生產(chǎn)力也是財務(wù)機器人最先落地的場景之一。但是確切來說，我們不是為了做廣泛智能才做這件事的，是因為有了實際的需要。RPA 在一般在集團型企業(yè)都會涉及，在大型企業(yè)財務(wù)工作中對這方面有非常實際的需求。所以，在這個解決方案中，我們通過尋找合適的技術(shù)，結(jié)合 AI 給企業(yè)提供更智能化，高效的業(yè)務(wù)解決方案。

我們在其他領(lǐng)域也做了很多工作，比如數(shù)據(jù)領(lǐng)域。作為一個技術(shù)型公司，技術(shù)是否為我所用是我們關(guān)注的重點。除了前沿技術(shù)，Paper，學(xué)術(shù)產(chǎn)業(yè)會議，都會進行跟蹤學(xué)習(xí)。還會有專業(yè)的算法工程師專門針對與場景結(jié)合的可行，有效性的分析。如果說單獨做一個人工智能平臺，從多角度來看不是我們的定位。

AI科技大本營：這樣的工作理念是從什么時候就確立的？

郝振明：我們大概在 2014、2015 年的時候開始關(guān)注這個領(lǐng)域。一開始這個市場非常熱鬧，而我們關(guān)注這個領(lǐng)域本身源于一個最大的困惑：我們會不會被淘汰？是這樣的一種自我憂患意識促使我們不斷地進行嘗試。后來，我們發(fā)現(xiàn)，我們需要的是：商業(yè)模式的差異化。從自身角度來講，我們并不是像一些企業(yè)那樣，需要有專業(yè)團隊，我們致力于人工智能，但是當(dāng)時我們還不具備充分的條件，在未來成熟以后我們也會做這件事。

再后來，我們就會發(fā)現(xiàn)，其實還是應(yīng)該從自身尋找我們需要什么，知道了需要什么就決定了我們要如何做。

現(xiàn)在大家也都在討論，人工智能除了技術(shù)，場景在哪里？我們對人工智能是長期看好的，但是現(xiàn)在最大的問題是讓更多的人利用人工智能。同時，我認為如果人工智能往上再走一個階段，其實是廣泛的應(yīng)用。而廣泛的應(yīng)用也不僅僅局限于現(xiàn)在大家都熟悉的客服機器人，娛樂。未來的世界難道就是這樣的嗎？也是從這個角度出發(fā)，我們在尋找更多的場景，希望做更多的落地應(yīng)用。在這里也是希望很多行業(yè)能加入，大家共同做出更多更落地的解決方案。建立一個真正的 AI 生態(tài)，需要基礎(chǔ)的算法，優(yōu)秀的人才和豐富的場景，實踐的落地。

AI科技大本營：有一類企業(yè)會特別地去研究自己的算法或者是構(gòu)建平臺。你們想做的實際上是比在做更上一層的工作？據(jù)我了解咱們應(yīng)該都是服務(wù)的中大型的企業(yè)，自己是否想過具體服務(wù)到每一個場景，還會有很多問題，比如數(shù)據(jù)不完備？該如何解決呢？

郝振明：是的，我們現(xiàn)在更多的是在一個領(lǐng)域里做一件事情，我們也在積累，從技術(shù)解決策略上說我們會用到遷移學(xué)習(xí)等方法。我認為現(xiàn)在人工智能是正在起勢的一個過程。我可以給大家引用這樣一個例子就很好理解，我在 2000 年左右做程序員，那個時候講軟件這個概念是不容易被理解的。大家如果現(xiàn)在來看程序員，發(fā)生了一個很大變化的過程，從一個專業(yè)的小領(lǐng)域到普世?；氐侥銊倖柕膯栴}，現(xiàn)在一些企業(yè)做了很多基礎(chǔ)的工作，并不代表能把所有的人工智能全部依賴于此建立起來。我們也會關(guān)注這些工作，但我們更關(guān)注如何使用。也不一定就是某個或某些企業(yè)可以做這些工作，當(dāng)我們的訴求越來越多，就會出現(xiàn)我們的結(jié)合點。

第二個關(guān)于數(shù)據(jù)量大小的問題?，F(xiàn)在很多研究和工作都是基于大數(shù)據(jù)算，就我個人觀點而言，是會存在一些問題的，比如不夠智能化，個性化。我們可以看到目前一些工作可能只做到了人工的 70 %-80% 的水平，從以往經(jīng)驗不容易被發(fā)覺，也許恰恰是大數(shù)據(jù)反向制約的，但是一定會有突破性的進展。其實可以理解成利與弊的關(guān)系，數(shù)據(jù)量特別大，更容易總結(jié)，但可能因為數(shù)據(jù)量過大，導(dǎo)致突破自身原有經(jīng)驗成為一件有難度的事情。在這方面我們也進行過一些嘗試，例如，當(dāng)數(shù)據(jù)量不是特別大的時候，會基于一些基礎(chǔ)網(wǎng)絡(luò)進行遷移。從我們的角度而言，關(guān)注小數(shù)據(jù)在工程化實踐中的作用，可以嘗試用來防止額外干擾，再通過專業(yè)模型聚焦我們的關(guān)注點。利用小數(shù)據(jù)形成一些智能化解決方案可以說也是我們的一個期望。但是，目前我們還沒有找到一個很好的點，但是相信，未來小數(shù)據(jù)量不會成為制約的問題。至于一些已經(jīng)相對成熟的技術(shù)，為什么我們自己也在獨立做？關(guān)鍵也在于此，在工程化實踐中，結(jié)合某一具體場景，會需要專門解決的一些問題。所以，我們需要的不止是一個通用技術(shù)，是針對特定領(lǐng)域的技術(shù)。這就需要在與工程化結(jié)合的時候，自己研發(fā)、改進算法或模型來尋求更好的解決方案。

AI科技大本營：從更高的層面而言，目前的這些工作如何幫助普元更好的賦能企業(yè)用戶？

郝振明：這里有兩個關(guān)鍵點：一個是自身的 know-how，一個是工程化。剛剛忽略的一個問題是：本身體系的延續(xù)性。通過技術(shù)本身，尋求技術(shù)，做技術(shù)的沉淀。

AI科技大本營：在未來的工作中面對不斷的挑戰(zhàn)有哪些措施？

郝振明：未來，我們期望是不是可以不僅局限于通用世界？從工程化階段來看，我們需要等待成熟，因為在還不能做的很好的情況下，選擇躲避一些問題，可能是更欠妥的做法。所以，除了技術(shù)角度，算法角度，我們還會結(jié)合工程方法，比如軟件工程的方法來完成。通過這種方式突破我們自身或現(xiàn)在行業(yè)內(nèi)的情況。尚未做的很好，也是我們在接下來的工作中努力嘗試的。我個人而言，我不是一個科學(xué)家，我更像一個干活兒的。我需要用的知識，技術(shù)，工具，有專家的成果可以讓我去嘗試，但終有一個是我要瞄準的方向，從而挑選出一個適合我們的。