在Raspberry Pi上使用Tesseract進(jìn)行光學(xué)字符識(shí)別的方法

機(jī)器使用相機(jī)觀察現(xiàn)實(shí)世界并解釋其中數(shù)據(jù)的能力將對(duì)其應(yīng)用產(chǎn)生更大的影響。無(wú)論是像 Starship 機(jī)器人這樣的簡(jiǎn)單送餐機(jī)器人，還是像特斯拉這樣的先進(jìn)自動(dòng)駕駛汽車(chē)，它們都依賴(lài)從高度復(fù)雜的攝像頭獲取的信息來(lái)做出決定。在本教程中，我們將學(xué)習(xí)如何通過(guò)閱讀圖像上的字符來(lái)識(shí)別圖像中的細(xì)節(jié)。這稱(chēng)為光學(xué)字符識(shí)別（OCR）。

這為許多應(yīng)用程序打開(kāi)了大門(mén)，例如自動(dòng)讀取名片中的信息、從名稱(chēng)板上識(shí)別商店或識(shí)別道路上的標(biāo)志板等等。我們中的一些人可能已經(jīng)通過(guò) Google Lens 體驗(yàn)過(guò)這些功能，所以今天我們將使用來(lái)自Google Tesseract-OCR 引擎的光學(xué)字符識(shí)別 （OCR）工具以及 python 和 OpenCV 構(gòu)建類(lèi)似的東西，以使用Raspberry Pi識(shí)別圖片中的字符。

Raspberry pi 是一種便攜式且功耗更低的設(shè)備，用于許多實(shí)時(shí)圖像處理應(yīng)用，如人臉檢測(cè)、 對(duì)象跟蹤、 家庭安全系統(tǒng)、監(jiān)控?cái)z像頭等。

先決條件

如前所述，我們將使用 OpenCV 庫(kù)來(lái)檢測(cè)和識(shí)別人臉。因此，在繼續(xù)本教程之前，請(qǐng)確保在 Raspberry Pi 上安裝 OpenCV 庫(kù)。還可以使用 2A 適配器為您的 Pi 供電，并將其連接到顯示監(jiān)視器以便于調(diào)試。

本教程不會(huì)解釋OpenCV的工作原理，如果您有興趣學(xué)習(xí)圖像處理，請(qǐng)查看此OpenCV 基礎(chǔ)知識(shí)和高級(jí)圖像處理教程。您還可以在此使用 OpenCV 的圖像分割教程中了解輪廓、斑點(diǎn)檢測(cè)等。

在樹(shù)莓派上安裝 Tesseract

要在 Raspberry Pi 上執(zhí)行光學(xué)字符識(shí)別，我們必須在 Pi 上安裝 Tesseract OCR 引擎。為此，我們必須首先配置 Debian 軟件包 （dpkg），這將幫助我們安裝 Tesseract OCR。在終端窗口中使用以下命令來(lái)配置 Debian Package。

sudo dpkg - -configure -a

然后我們可以繼續(xù)使用 apt-get 選項(xiàng)安裝 Tesseract OCR （光學(xué)字符識(shí)別）。下面給出了相同的命令。

sudo apt-get install tesseract-ocr

您的終端窗口將如下所示，安裝完成大約需要 5-10 分鐘。

現(xiàn)在我們已經(jīng)安裝了 Tesseract OCR，我們必須使用 pip install package 安裝 PyTesseract 包。Pytesseract 是圍繞 tesseract OCR 引擎的 python 包裝器，它幫助我們將 tesseract 與 python 一起使用。按照以下命令在 python 上安裝 pytesseract。

點(diǎn)安裝 pytesseract

在進(jìn)行此步驟之前，請(qǐng)確保已經(jīng)安裝了枕頭。學(xué)過(guò)樹(shù)莓派人臉識(shí)別教程的人應(yīng)該已經(jīng)安裝好了。其他人可以使用該教程并立即安裝。pytesseract 安裝完成后，您的窗口將如下所示

Windows/Ubuntu 上的 Tesseract 4.0

Tesseract 光學(xué)字符識(shí)別項(xiàng)目最初由 Hewlett Packard 于 1980 年啟動(dòng)，然后被 Google 采用，該項(xiàng)目一直保持至今。多年來(lái)，Tesseract 不斷發(fā)展，但它仍然只在受控環(huán)境中運(yùn)行良好。如果圖像有太多的背景噪音或失焦，則 tesseract 似乎無(wú)法正常工作。

為了克服這個(gè)問(wèn)題，最新版本的 tesseract Tesseract 4.0 使用深度學(xué)習(xí)模型來(lái)識(shí)別字符甚至筆跡。Tesseract 4.0 使用長(zhǎng)短期記憶 （LSTM） 和循環(huán)神經(jīng)網(wǎng)絡(luò) （RNN） 來(lái)提高其 OCR 引擎的準(zhǔn)確性。不幸的是，在本教程的這個(gè)時(shí)候，Tesseract 4.0 僅適用于 Windows 和 Ubuntu，但仍處于 Raspberry Pi 的 beta 階段。所以我們決定在 Windows 上試用 Tesseract 4.0，在 Raspberry Pi 上試用 Tesseract 3.04。

Pi上的簡(jiǎn)單字符識(shí)別程序

因?yàn)槲覀円呀?jīng)在 PI 中安裝了Tesseract OCR和 Pytesseract 包。我們可以快速編寫(xiě)一個(gè)小程序來(lái)檢查字符識(shí)別是如何處理測(cè)試圖像的。我使用的測(cè)試圖像、程序和結(jié)果可以在下圖中找到。

如您所見(jiàn)，該程序非常簡(jiǎn)單，我們甚至沒(méi)有使用任何 OpenCV 包。上面的程序在下面給出

from PIL import Image

img =Image.open （‘1.png’）

text = pytesseract.image_to_string（img， config=‘’）

print （text）

在上面的程序中，我們?cè)噲D從位于程序同一目錄內(nèi)的名為“1.png”的圖像中讀取文本。Pillow 包用于打開(kāi)此圖像并將其保存在變量名img下。然后我們使用pytesseract 包中的image_to_sting方法檢測(cè)圖像中的任何文本，并將其保存為變量 text 中的字符串。最后我們打印文本的值來(lái)檢查結(jié)果。

如您所見(jiàn)，原始圖像實(shí)際上包含文本“解釋那些東西！01234567890 ”這是一個(gè)完美的測(cè)試圖像，因?yàn)槲覀冊(cè)趫D像中有字母、符號(hào)和數(shù)字。但是我們從 pi 得到的輸出是“解釋那些東西！Sdfosiefoewufv”這意味著 out 程序無(wú)法識(shí)別圖像中的任何數(shù)字。為了克服這個(gè)問(wèn)題，人們通常使用 OpenCV 從程序中去除噪聲，然后根據(jù)圖像配置 Tesseract OCR 引擎以獲得更好的結(jié)果。但請(qǐng)記住，您不能期望 Tesseract OCR Python 提供 100% 可靠的輸出。

配置 Tesseract OCR 以改進(jìn)結(jié)果

Pytesseract 允許我們通過(guò)設(shè)置更改圖像搜索字符方式的標(biāo)志來(lái)配置 Tesseract OCR 引擎。配置 Tesseract OCR 時(shí)使用的三個(gè)主要標(biāo)志是語(yǔ)言 （-l）、OCR 引擎模式 （--oem） 和頁(yè)面分段模式 （- -psm ）。

除了默認(rèn)的英語(yǔ)，Tesseract 還支持許多其他語(yǔ)言，包括印地語(yǔ)、土耳其語(yǔ)、法語(yǔ)等。我們?cè)谶@里只使用英語(yǔ)，但您可以從官方github 頁(yè)面下載訓(xùn)練數(shù)據(jù)并將其添加到您的包中以識(shí)別其他語(yǔ)言。 還可以從同一圖像中識(shí)別兩種或多種不同的語(yǔ)言。語(yǔ)言由標(biāo)志 -l設(shè)置，要將其設(shè)置為一種語(yǔ)言，請(qǐng)使用代碼和標(biāo)志，例如對(duì)于英語(yǔ)，它將是-l eng，其中 eng 是英語(yǔ)的代碼。

下一個(gè)標(biāo)志是 OCR Engine Mode，它有四種不同的模式。每種模式都使用不同的算法來(lái)識(shí)別圖像中的字符。默認(rèn)情況下，它使用隨包安裝的算法。但我們可以將其更改為使用 LSTM 或神經(jīng)網(wǎng)絡(luò)。四種不同的引擎模式如下所示。該標(biāo)志由--oem 指示，因此要將其設(shè)置為模式 1，只需使用--oem 1。

最后也是最重要的標(biāo)志是頁(yè)面分割模式標(biāo)志。當(dāng)您的圖像具有如此多的背景細(xì)節(jié)以及字符或字符以不同的方向或大小書(shū)寫(xiě)時(shí)，這些非常有用。共有 14 種不同的頁(yè)面分割模式，所有這些都在下面列出。該標(biāo)志由–psm指示，因此設(shè)置模式為 11。它將是–psm 11。

在 Tesseract Raspberry Pi 中使用 oem 和 psm 以獲得更好的結(jié)果

讓我們檢查一下這些配置模式的有效性。在下圖中，我嘗試識(shí)別限速板上的字符，上面寫(xiě)著“ SPEED LIMIT 35 ”。如您所見(jiàn)，與其他字母相比，數(shù)字 35 的尺寸更大，這使 Tesseract 感到困惑，因此我們僅得到“SPEED LIMIT”的輸出，并且缺少數(shù)字。

為了克服這個(gè)問(wèn)題，我們可以設(shè)置配置標(biāo)志。在上面的程序中，配置標(biāo)志是空的 config=‘’，現(xiàn)在讓我們使用上面提供的詳細(xì)信息來(lái)設(shè)置它。圖像中的所有文本都是英文，所以語(yǔ)言標(biāo)志是 -l eng，OCR 引擎可以保留為默認(rèn)模式 3 所以 -oem 3?，F(xiàn)在終于在 psm 模式下，我們需要從圖像中找到更多的字符，所以我們?cè)谶@里使用模式 11，它變成了 –psm 11。最后的配置行看起來(lái)像

測(cè)試= pytesseract.image_to_string（灰色，配置=‘-l eng --oem 3 --psm 12’）

相同的結(jié)果可以在下面找到。正如您現(xiàn)在所看到的，Tesseract 能夠從圖像中找到所有字符，包括數(shù)字。

通過(guò)置信水平提高準(zhǔn)確性

Tesseract 中另一個(gè)有趣的特性是image_to_data方法。該方法可以為我們提供詳細(xì)信息，例如圖像中字符的位置、檢測(cè)的置信度、行和頁(yè)碼。讓我們嘗試在示例圖像上使用它

在這個(gè)特定的例子中，我們得到了很多噪聲信息以及原始信息。圖片是一家名為“富通醫(yī)院”的醫(yī)院的名字牌。但是除了名稱(chēng)之外，圖像還具有其他背景細(xì)節(jié)，例如徽標(biāo)構(gòu)建等。因此，Tesseract 嘗試將所有內(nèi)容都轉(zhuǎn)換為文本，并給我們帶來(lái)了很多噪音，例如“$C”“|” “S_______S==+”等。

現(xiàn)在在這些情況下image_to_data方法就派上用場(chǎng)了。如您所見(jiàn)，上述光學(xué)字符識(shí)別算法返回其已識(shí)別的每個(gè)字符的置信度，F(xiàn)ortis 的置信度為 64，HOSPITAL 的置信度為 24。對(duì)于其他噪聲信息，置信度值為 10 或以下大于 10。這樣我們就可以過(guò)濾掉有用的信息，利用置信度的值來(lái)提高準(zhǔn)確率。

樹(shù)莓派上的 OCR

雖然使用 Tesseract 時(shí)在 Pi 上的結(jié)果不是很令人滿(mǎn)意，但它可以與 OpenCV 結(jié)合以濾除圖像中的噪聲，如果圖像良好，可以使用其他配置技術(shù)獲得不錯(cuò)的結(jié)果。我們已經(jīng)在 Pi 上使用 tesseract 嘗試了大約 7 種不同的圖像，并且通過(guò)相應(yīng)地調(diào)整每張圖片的模式來(lái)獲得接近的結(jié)果。完整的項(xiàng)目文件可以下載為該位置的 Zip，其中包含所有測(cè)試圖像和基本代碼。

讓我們?cè)?Raspberry Pi 上再?lài)L試一個(gè)示例板標(biāo)志，這一次非常簡(jiǎn)單明了。下面給出了相同的代碼

從 PIL 導(dǎo)入 pytesseract 導(dǎo)入圖像

導(dǎo)入cv2

img = cv2.imread（‘4.png’，cv2.IMREAD_COLOR） #打開(kāi)要識(shí)別字符的圖像

#img = cv2.resize（img， （620，480） ） #如果需要，調(diào)整圖像大小

gray = cv2.cvtColor（img， cv2.COLOR_BGR2GRAY） #轉(zhuǎn)換為灰色以減少

細(xì)節(jié) gray = cv2.bilateralFilter（gray， 11， 17， 17） #模糊以減少噪點(diǎn)

original = pytesseract.image_to_string（gray， config=‘’）

#test = （pytesseract.image_to_data（gray， lang=None， config=‘’， nice=0） ） #get confidence level if required

#print（pytesseract.image_to_boxes（灰色的））

打印（原件）

該程序打開(kāi)我們需要從中識(shí)別字符的文件，然后將其轉(zhuǎn)換為灰度。這將減少圖像中的細(xì)節(jié)，使 Tesseract 更容易識(shí)別字符。為了進(jìn)一步減少背景噪聲，我們使用 OpenCV 中的一種雙邊濾波器對(duì)圖像進(jìn)行模糊處理。最后，我們開(kāi)始從圖像中識(shí)別字符并將其打印在屏幕上。最終的結(jié)果將是這樣的。

希望您理解本教程并喜歡學(xué)習(xí)新知識(shí)。OCR 用于許多地方，如自動(dòng)駕駛汽車(chē)、車(chē)牌識(shí)別、路牌識(shí)別導(dǎo)航等，在 Raspberry Pi 上使用它為更多可能性打開(kāi)了大門(mén)，因?yàn)樗梢员銛y且緊湊。

導(dǎo)入 pytesseract

從 PIL 導(dǎo)入圖像

導(dǎo)入簡(jiǎn)歷2





img = cv2.imread('4.png',cv2.IMREAD_COLOR) #打開(kāi)要識(shí)別字符的圖像

#img = cv2.resize(img, (620,480) ) #如果需要調(diào)整圖像大小



gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) #轉(zhuǎn)換為灰色以減少細(xì)節(jié)

gray = cv2.bilateralFilter(gray, 11, 17, 17) #Blur 去噪



原始= pytesseract.image_to_string（灰色，配置=''）

#test = (pytesseract.image_to_data(gray, lang=None, config='', nice=0) ) #get confidence level if required

#print（pytesseract.image_to_boxes（灰色））



打印（原件）



'''必需 = 'abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ'

最終 = ''



對(duì)于原始的 c：

對(duì)于需要的ch：

如果 c==ch：

最終 = 最終 + c

休息



打?。y(cè)試）



在測(cè)試中：

如果 a == "\n":

打印（“找到”）'''