從DeepSeek到Qwen，AI大模型的移植與交互實戰指南

發布時間：2025-4-24 15:53 發布者：秦徹呀呀呀

在不久前發布的《技術實戰 | OK3588-C開發板上部署DeepSeek-R1大模型的完整指南》一文中，小編為大家介紹了DeepSeek-R1在飛凌嵌入式OK3588-C開發板上的移植部署、效果展示以及性能評測，本篇文章不僅將繼續為大家帶來關于DeepSeek-R1的干貨知識，還會深入探討多種平臺的移植方式，并介紹更為豐富的交互方式，幫助大家更好地應用大語言模型。

1.移植過程
1.1 使用RKLLM-Toolkit部署至NPU

RKLLM-Toolkit是瑞芯微為大語言模型（LLM）專門開發的轉換與量化工具，可以將訓練好的模型轉化為適應瑞芯微平臺的RKLLM格式。該工具針對大語言模型進行了優化，使其能高效地在瑞芯微的NPU（神經網絡處理單元）上運行。上一篇文章中提到的部署方式即為通過RKLLM-Toolkit進行的NPU部署。具體步驟如下：

(1) 下載RKLLM SDK：

首先從GitHub下載RKLLM SDK包，并上傳至虛擬機。SDK下載鏈接：

[GitHub - airockchip/rknn-llm](https://github.com/airrockchip/rknn-llm)。

(2) Python版本檢查：

確保安裝的SDK版本與目標環境兼容(目前只支持python3.8或python3.10)。

(3) 準備虛擬機環境：

在虛擬機中安裝rkllm-toolkit輪子，輪子包路徑（rknn-llm-main\rkllm-toolkit）。

pip
install rkllm_toolkit-1.1.4-cp38-cp38-linux_x86_64.whl

復制代碼

(4) 下載模型：

選擇需要部署的DeepSeek-R1模型。

git clone https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B

復制代碼

(5) 使用示例代碼進行模型轉換：

在rknn-llm-main\examples\DeepSeek-R1-Distill-Qwen-1.5B_Demo路徑下，使用RKLLM-Toolkit提供的示例代碼進行模型格式轉換。

python generate_data_quant.py -m /path/to/DeepSeek-R1-Distill-Qwen-1.5B
python export_rkllm.py

復制代碼

(6) 編譯可執行程序：

通過運行deploy下build-linux.sh腳本（將交叉編譯器路徑替換為實際路徑）直接編譯示例代碼。這將在目錄中生成一個文件夾，其中包含可執行文件和文件夾。

進行交叉編譯生成可執行文件。

./build-linux.sh

復制代碼

(7) 部署模型：

將已編譯好的 _W8A8_RK3588.rkllm 文件和librkllmrt.so動態庫文件（路徑為：rknn-llm-main\rkllm-runtime\Linux\librkllm_api\aarch64 ），一同拷貝到編譯后生成的 build_linux_aarch64_Release 文件夾內，然后將此文件夾上傳到目標板端。

接著，為目標板端build_linux_aarch64_Release文件夾中的 llm_demo 文件添加執行權限并執行它。

chmod +x llm_demo
./llm_demo _W8A8_RK3588.rkllm 10000 10000

復制代碼

優勢與不足：

- 優勢：部署至NPU后，大語言模型能高效運行，性能表現優異，且對CPU資源的占用較少。

- 不足：相較于其他方法，部署過程稍顯復雜，需要較強的技術背景和經驗。

1.2 使用Ollama一鍵部署至CPU

Ollama是一個開源的本地化大型語言模型（LLM）運行框架，支持在本地環境下運行各種開源LLM模型（如LLaMA、Falcon等），并提供跨平臺支持（macOS、Windows、Linux）。

通過Ollama，用戶可以無需依賴云服務，輕松部署和運行各種大語言模型。盡管Ollama支持快速部署，但由于DeepSeek-R1尚未在RK3588芯片上進行優化，因此只能在CPU上運行，可能會占用較高的CPU資源。具體步驟如下：

(1) 下載Ollama：

根據需要下載并安裝Ollama，

curl -fsSL https://ollama.com/install.sh | sh

復制代碼

若下載速度較慢，可參考以下鏡像方式進行加速。

curl -fsSL https://ollama.com/install.sh -o ollama_install.sh
chmod +x ollama_install.sh
sed -i 's|https://ollama.com/download/|https://github.com/ollama/

復制代碼

(2) 查看Ollama結果：

確認Ollama正確安裝，并運行相關命令查看部署結果。

Ollama --help

復制代碼

(3) 下載DeepSeek-R1：

從Ollama官網渠道獲取下載DeepSeek-R1模型的指令。

(4) 運行DeepSeek-R1：

通過Ollama命令行接口啟動DeepSeek-R1模型。

ollama run deepseek-r1:1.5b

復制代碼

優勢與不足：

- 優勢：部署過程簡便快捷，適合快速測試和應用。

- 不足：因模型未針對RK3588優化，在CPU上運行時可能導致較高的CPU占用，影響性能。

2.在FCU3001平臺上部署其他大模型

除了DeepSeek-R1，Ollama還支持部署其他大語言模型，如通義千問（Qwen）等，這展示了Ollama的廣泛適用性。接下來，我們以通義千問為例，在飛凌嵌入式推出的一款搭載英偉達處理器的AI邊緣計算終端 FCU3001（基于NVIDIA Jetson Xavier NX處理器）上部署大語言模型：

FCU3001通過其強大的計算能力和優化的軟件支持，能夠高效地運行Ollama所支持的大語言模型，如通義千問。在部署過程中，我們可以充分利用Ollama提供的靈活性和易用性，確保大語言模型在FCU3001上穩定、流暢地運行。步驟如下：

(1) 安裝CUDA環境：

可以使用NVIDIA Jetson Xavier NX的GPU來運行模型。Ollama的安裝方法可以參考上述。

sudo apt update
sudo apt upgrade
sudo apt install nvidia-jetpack -y

復制代碼

(2) 進入Ollama官網：

瀏覽Ollama支持的其他模型。

(3) 選擇版本：

從Ollama支持的模型列表中選擇千問Qwen 1.8B版本。

(4) 運行模型：

在Ollama環境下，使用命令ollama run qwen:1.8b啟動通義千問模型。

ollama run qwen:1.8b

復制代碼

3.交互方式

在前述的部署方式中，交互方式主要基于串口調試，缺少圖形界面，無法展示圖片、表單等元素，也不能呈現歷史對話。為了提升用戶體驗，我們可以通過集成ChatboxUI或WebUI等方式，提供更為豐富的交互體驗。

3.1 Chatbox UI

Chatbox是一款集成多種語言模型的AI助手工具，支持如ChatGPT、Claude等多種模型。它不僅具備本地數據存儲和多語言切換功能，還支持圖像生成、Markdown和LaTeX等格式，提供人性化的界面和團隊協作功能。Chatbox支持Windows、macOS、Linux系統，用戶可在本地快速實現對大語言模型的交互。步驟如下：

(1) 下載Chatbox：

從Chatbox官網(https://chatboxai.app/zh)下載適合的安裝包。

(2) 安裝并配置：

下載完成后是一個Chatbox-1.10.4-arm64.AppImage的文件，其實就是一個可執行文件，添加權限即可運行，就可以配置本地ollama API下的LLM模型了。

wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-aarch64.sh
chmod +x Miniconda3-latest-Linux-aarch64.sh
./Miniconda3-lates

復制代碼

搭建WebUI環境。

conda create --name Web-Ui python=3.11
conda activate Web-Ui
pip install open-webui -i https://pypi.tuna.tsinghua.edu.cn/simple

復制代碼

(2) 啟動Web UI：

使用open-webui serve啟動Web UI應用，服務器的IP地址和端口號為0.0.0.0:8080。

open-webui serve

出現以下紅框信息證明啟動成功。

(3) 訪問Web UI：

在瀏覽器中輸入IP地址和端口號，打開Web UI界面，開始與大語言模型互動。

注冊賬號

4.總結

本文全面展示了OK3588-C開發板及FCU3001邊緣AI網關上大語言模型的多種移植方式，并介紹了如何通過ChatboxUI和WebUI等多種交互方式提升用戶體驗。

飛凌嵌入式推出了多款嵌入式AI產品，如OK3588-C、OK3576-C、OK-MX9352-C、OK536-C等開發板，還有AI邊緣計算終端FCU3001，算力范圍從0.5TOPS到21TOPS不等，可以滿足不同客戶的AI開發需求。如果您對這些產品感興趣，歡迎隨時與我們聯系，飛凌嵌入式將為您提供詳細的技術支持與指導。

微信圖片_2025-04-24_112628_443.png (101.79 KB)

微信圖片_2025-04-24_112633_707.png (115.88 KB)

本文地址：http://www.qingdxww.cn/thread-886387-1-1.html 【打印本頁】

本站部分文章為轉載或網友發布，目的在于傳遞和分享信息，并不代表本網贊同其觀點和對其真實性負責；文章版權歸原作者及原出處所有，如涉及作品內容、版權和其它問題，我們將根據著作權人的要求，第一時間更正或刪除。