英特爾集成顯卡+ChatGLM3大語言模型的企業(yè)本地AI知識庫部署

前言

在當(dāng)今的企業(yè)環(huán)境中，信息的快速獲取和處理對于企業(yè)的成功至關(guān)重要。為了滿足這一需求，我們可以將RAG技術(shù)與企業(yè)本地知識庫相結(jié)合，以提供實(shí)時(shí)的、自動(dòng)生成的信息處理和決策支持。這將有助于企業(yè)更好地應(yīng)對快速變化的市場環(huán)境，提高企業(yè)的競爭力和創(chuàng)新能力。

企業(yè)本地知識庫是一個(gè)集中存儲和管理企業(yè)內(nèi)部知識的系統(tǒng)。它包含了企業(yè)的歷史數(shù)據(jù)、經(jīng)驗(yàn)教訓(xùn)、最佳實(shí)踐、流程文檔、產(chǎn)品信息等。企業(yè)本地知識庫是企業(yè)智慧的結(jié)晶，對于企業(yè)的運(yùn)營和發(fā)展具有重要意義。

將RAG技術(shù)與企業(yè)本地知識庫相結(jié)合，可以為企業(yè)帶來以下幾個(gè)方面的優(yōu)勢：

1

實(shí)時(shí)性

RAG技術(shù)可以實(shí)時(shí)地從企業(yè)本地知識庫中提取相關(guān)信息，并生成用戶所需的內(nèi)容。這意味著用戶可以快速地獲取到最新的知識和信息，而不需要花費(fèi)大量時(shí)間去查找和整理。

2

自動(dòng)化

RAG技術(shù)可以自動(dòng)地處理和生成內(nèi)容，減少了人工干預(yù)的需求。這不僅可以提高企業(yè)的效率，還可以減少人為錯(cuò)誤的發(fā)生。

3

個(gè)性化和定制化

RAG技術(shù)可以根據(jù)用戶的需求和偏好，生成個(gè)性化的內(nèi)容。通過與企業(yè)本地知識庫的結(jié)合，可以提供更加精準(zhǔn)和有針對性的信息，滿足不同用戶的需求。

4

知識共享和傳承

企業(yè)本地知識庫是一個(gè)集中存儲和共享知識的平臺。通過與RAG技術(shù)的結(jié)合，可以將這些知識快速地傳遞給需要的用戶，促進(jìn)知識的共享和傳承。

1

RAG簡介

RAG - Retrieval-Augmented Generation（檢索增強(qiáng)生成）是一種先進(jìn)的自然語言處理（NLP）技術(shù)，它結(jié)合了信息檢索（Retrieval）和神經(jīng)網(wǎng)絡(luò)生成（Generation）兩種方法，以提升模型在生成文本時(shí)的準(zhǔn)確性和相關(guān)性。在傳統(tǒng)的生成模型中，模型依據(jù)自身學(xué)習(xí)到的知識庫生成文本。然而，這種方法受限于模型訓(xùn)練時(shí)所接觸到的數(shù)據(jù)范圍，特別是在處理未見的、需要實(shí)時(shí)查找新信息的場景時(shí)，可能無法生成最新或最準(zhǔn)確的內(nèi)容。

RAG模型通過引入一個(gè)檢索組件，在接收到輸入問題或任務(wù)后，首先從大規(guī)模預(yù)定義的知識庫（如網(wǎng)頁、文檔集合或其他結(jié)構(gòu)化/非結(jié)構(gòu)化數(shù)據(jù)源）中檢索與任務(wù)相關(guān)的信息片段。然后，檢索到的信息作為額外的上下文輸入，與原始輸入一起傳遞給生成模型。生成模型在此基礎(chǔ)上，利用檢索到的信息以及自身的語言模型能力，生成更為精確、詳盡且與現(xiàn)實(shí)世界信息保持同步的回答或文本內(nèi)容。

簡單來說，RAG模型就是在傳統(tǒng)生成模型的基礎(chǔ)上增加了一個(gè)動(dòng)態(tài)獲取外部知識的能力，這樣既保留了大模型生成連貫文本的優(yōu)點(diǎn)，又解決了由于模型記憶限制導(dǎo)致的知識更新和準(zhǔn)確性不足的問題，尤其適用于問答系統(tǒng)、對話系統(tǒng)及需要實(shí)時(shí)更新信息的自然語言處理任務(wù)。

2

OpenVINO Notebook簡介

OpenVINO Notebooks是一套以Jupyter Notebook為載體的開源交互式編程教程和示例代碼合集，由英特爾公司開發(fā)和維護(hù)。這套資源專為使用 OpenVINO 工具套件的開發(fā)者設(shè)計(jì)，旨在幫助他們更快地理解和掌握如何利用 OpenVINO 進(jìn)行深度學(xué)習(xí)模型的優(yōu)化與推理及實(shí)際部署AI在各式業(yè)務(wù)應(yīng)用場景里面。

3

部署平臺簡介

算力魔方是一款可以DIY的迷你主機(jī)，采用了抽屜式設(shè)計(jì)，后續(xù)組裝、升級、維護(hù)只需要拔插模塊。通過選擇計(jì)算模塊的版本，再搭配不同額 IO 模塊可以組成豐富的配置，適應(yīng)不同場景。性能不夠時(shí)，可以升級計(jì)算模塊提升算力, 如需要顯卡可加上顯卡， IO 接口不匹配時(shí)，可以更換 IO 模塊調(diào)整功能，而無需重構(gòu)整個(gè)系統(tǒng)。本文在帶有英特爾12代酷睿i7-1265U芯片組里的銳炬 Xe集成顯卡+RAM 32GB的算力魔方上完成驗(yàn)證。

4

在集成顯卡上部署RAG

4.1

搭建OpenVINO Notebooks開發(fā)環(huán)境

第一步：請使用下面的命令克隆存儲庫創(chuàng)建并激活名為“openvino_env”的虛擬環(huán)境

git clone https://github.com/openvinotoolkit/openvino_notebooks.git
cd openvino_notebooks
conda create -n openvino_env python=3.9

第二步：請使用下面的命令激活虛擬環(huán)境并安裝依賴包，并啟動(dòng)Jupyter Notebooks

conda activate openvino_env
pip install -r requirements.txt

jupyter lab notebooks

4.2

下載模型到本地

請使用命令將ChatGLM3 6B和text2vec模型下載到本地

git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git

git clone https://www.modelscope.cn/Jerry0/text2vec-large-chinese.git

4.3

運(yùn)行254-rag-chatbot程序

請運(yùn)行Notebooks里面的代碼模塊, 注意!! 國內(nèi)用戶請勿運(yùn)行模塊1，從模塊2開始一步步運(yùn)行代碼到NNCF模塊，模型壓縮選擇int4并按照下圖一及二圖修改notebooks 254里的代碼引導(dǎo)程序指定對應(yīng)的模型路徑完成ChatGLM3-6b模型int 4量化及部署

圖一

圖二

text2vec-large-chinese 模型部署

運(yùn)行結(jié)果，如下所示：本地知識庫已成功加入ChatGLM 6B模型里并精確回答問題

運(yùn)行視頻.avi

5

總結(jié)

將RAG技術(shù)與企業(yè)本地知識庫相結(jié)合，可以為企業(yè)提供實(shí)時(shí)、自動(dòng)化、個(gè)性化和定制化的信息處理和決策支持。這將有助于企業(yè)更好地應(yīng)對快速變化的市場環(huán)境，提高企業(yè)的競爭力和創(chuàng)新能力。

利用OpenVINO 工具套件簡單易用，僅需三步即可在算力魔方完成開發(fā)環(huán)境搭建及模型的INT4量化且在英特爾集成顯卡上的部署實(shí)現(xiàn)RAG企業(yè)本地知識庫部署。

審核編輯：劉清