如何給OriginBot安裝大語言模型

一、安裝

1. OriginBot系統(tǒng)安裝

目前OriginBot系統(tǒng)有V1和V2兩個版本，只有V2才支持harbot_llm，所以一定要給OriginBot安裝V2。

2. hobor_llm 安裝

①安裝 transformers

pip3 install transformers -i https://mirrors.aliyun.com/pypi/simple/

安裝的時候會提示部分依賴包版本沖突，我沒有修復也能直接運行，所以看起來問題不大

②安裝hobot-dnn

sudo apt update
 sudo apt install -y tros-hobot-llm

③下載模型文件

wget http://archive.sunrisepi.tech/llm-model/llm_model.tar.gz
sudo tar -xf llm_model.tar.gz -C /opt/tros/lib/hobot_llm/

④修改設備配置

# 修改BPU的保留內(nèi)存
 # 替換dtb文件
 sudo cp /opt/tros/lib/hobot_llm/config/hobot-dtb/*.dtb /boot/hobot/
 # 重啟
 reboot
 # 調(diào)整CPU的頻率
 sudo bash -c 'echo 1 > /sys/devices/system/cpu/cpufreq/boost'
 sudo bash -c 'echo performance > /sys/devices/system/cpu/cpufreq/policy0/scaling_governor'