RK3588开发板上部署DeepSeek-R1大模型的完整指南

罗罗诺亚

DeepSeek作为国产AI大数据模型的代表，凭借其卓越的推理能力和高效的文本生成技术，在全球人工智能领域引发广泛关注。DeepSeek-R1作为该系列最新迭代版本，实现了长文本处理效能跃迁、多模态扩展规划、嵌入式适配等技术维度的突破。

) U9 ^+ F5 M- i/ Q/ @RK3588作为瑞芯微推出的旗舰级芯片，凭借多核异构计算能力以及强大的CPU、GPU和NPU性能，成为嵌入式AI应用的理想平台。DeepSeek-R1与OK3588-C开发板的深度融合，标志着国产AI大模型从云端向边缘端的延伸。这种“先进算法+定制化芯片”的协同模式，不仅解决了边缘侧实时性、隐私保护等关键需求，更构建起从技术研发到产业赋能的完整价值链条，为各行业智能化转型提供可复用的创新范式。接下来，让我们深入探讨这一过程是如何具体实现的。

一、移植过程
（1）下载DeepSeek-R1源码
在Ubuntu虚拟机上从DeepSeek-R1官网地址下载DeepSeek-R1-Distill-Qwen-1.5B权重文件。

. d3 p# M) m9 B9 l( }/ R$ p0 n（2）安装转换工具
在Ubuntu创建虚拟环境并安装RKLLM-Toolkit，以便将DeepSeek-R1大语言模型转换为RKLLM模型格式和编译板端推理的可执行程序。

- x' n1 _1 k" B# j（3）模型转换
5 G- ?, h0 U0 d使用RKLLM-Toolkit对模型进行转换，RKLLM-Toolkit提供模型的转换、量化功能。作为RKLLM-Toolkit的核心功能之一，它允许用户将Hugging Face或GGUF格式的大语言模型转换为RKLLM模型，从而将RKLLM模型在Rockchip NPU上加载运行。
& N" Y! c2 h7 u0 |
（4）编译DeepSeek-R1程序
% m( E  J: g$ ?+ g8 C安装交叉编译工具链，以编译RKLLM Runtime可执行文件，该程序包含模型初始化、模型推理、回调函数处理输出和模型资源释放等全部流程。

) G; y- H. [4 x% u, S（5）模型部署
将编译好的RKLLM模型和可执行文件上传至板端即可执行，这样就可以在OK3588-C开发板的调试串口上和DeepSeek-R1对话了，而且无需联网。

, u6 v8 i  \6 _$ i0 C二、效果展示
DeepSeek-R1是一款多功能的人工智能助手，它在多个领域内均能提供高效而全面的支持。即便是本地离线版本，无论是日常的信息检索需求、专业设备的维修指导建议、复杂数学问题的解答，还是编程任务的辅助完成，R1都能凭借其强大的数据处理能力和广博的知识储备库，给出既准确且实用的建议，成为用户在各领域探索时的可靠伙伴。

（1）普通信息搜索
DeepSeek-R1能够快速检索并提供准确的信息。例如，当询问“保定飞凌嵌入式技术有限公司”时，DeepSeek-R1可以详细介绍该公司的背景、主营业务、产品特点等，帮助用户全面了解该公司的情况。



% v, U$ j2 \: x* |4 i! j[backcolor=var(--GBK09A)]

[color=var(--GBK99A)]上传视频封面

' P" f2 Q# g; S5 B6 Z* `/ h
- [* @9 ]/ c4 {

  ]4 o; M* x; E9 o: L; L  O

​[color=var(--GBK05A)]好的标题可以获得更多的推荐及关注者

3 A0 i) e* @8 K1 I
% \7 v, w$ Q5 A$ y1 H+ O. s
0 S* M, x% Z9 d" c' F: o



（2）专业设备问题维修意见
% _# i- |; r% x9 z9 {" B对于专业设备问题，DeepSeek-R1能够提供详细的故障分析和解决方案。例如，针对PLC报错误码E01的问题，R1分析可能造成故障的原因，如电源问题、接线错误或硬件故障，并提供相应的解决步骤，帮助用户快速排除故障。
" O8 L, v5 b2 f0 |3 E
" e' D1 ^6 E0 U) [) d% {3 i/ b2 P

[backcolor=var(--GBK09A)]

[color=var(--GBK99A)]上传视频封面

) m' u  |* \! c/ N! @/ g


# [7 Z' {9 a# N% n
% F4 u" y3 p& p6 B; A/ Z# U
' U/ f( Q* t' y* v. _8 ?; \" {
​[color=var(--GBK05A)]好的标题可以获得更多的推荐及关注者

, G. G) w5 q# q0 y0 D5 \
4 Y, c6 j  S) r: L
" I" L* ^, _' i, n

) e* V4 |, k/ Z: @7 |" ?3 @

/ x( g: E2 M  x  t4 N  A* Z0 u" \（3）数学题解答
DeepSeek-R1拥有卓越的数学运算能力，擅长解决各类数学难题。举例来说，在面对红蓝铅笔的采购问题时，它能够巧妙地构建方程组并迅速求解，精确计算出红铅笔与蓝铅笔的应购数量，为用户提供即时且准确的解决方案。不仅如此，DeepSeek-R1还附带了详尽的验证步骤，确保结果的准确无误。

0 s0 @# E% {3 x6 H# E2 }9 F

[backcolor=var(--GBK09A)]

[color=var(--GBK99A)]上传视频封面

. x, ^; [; ^: i+ W; i+ _

5 X1 A5 S- b) V# V# w; x* X* P3 J; y

; I8 `  {! `" ?' d' V/ I  h
​[color=var(--GBK05A)]好的标题可以获得更多的推荐及关注者

- y3 S) e' f. a* f1 ^9 i& o
9 l$ ?# S2 ^8 g

* ]# ^- V2 u  u; N) O


: i2 _' j! X* R' `3 [9 b（4）编程任务
- M1 M/ x# H9 }+ I( t, }" A6 YDeepSeek-R1在编程方面表现出色，能够根据用户需求编写代码。例如，针对OK3588-C开发板的串口通信需求，R1可以提供完整的C语言示例程序，包括串口初始化、数据接收和发送等功能，帮助用户实现串口通信。

+ l1 h3 ?$ k$ U  v7 i

- L! A' x7 V2 Z2 p/ U[backcolor=var(--GBK09A)]

[color=var(--GBK99A)]上传视频封面

& C7 l/ m, _4 L# Q2 \

9 b* _4 o* F  L9 h( }) T; f3 v
- @; t/ `' M% f2 K

0 d* x1 A. o- J" ~/ f5 I
​[color=var(--GBK05A)]好的标题可以获得更多的推荐及关注者



0 e4 B) M/ `2 r; Y/ ]$ x2 ~" B' |
5 a6 O: y! E  D, x+ X# }
2 ]; O) L- L. l( v
/ O' L  c1 A6 ]. g2 i* ^2 h3 w2 U1 k
从上述视频中不难发现，DeepSeek-R1在众多领域内彰显了其卓越的实用价值与高效性能，已然成为用户工作中不可或缺的智能伙伴。

三、性能测评
在完成移植后我们进行了全面的性能评测，以验证 DeepSeek-R1在OK3588-C开发板上的运行效果。经过详细的测试与对比，归纳了以下几个关键性能指标：实时性：从上文视频播放中可以看到，DeepSeek-R1输出的回答结果清晰且流畅，未出现任何延迟或卡顿现象。CPU占用：DeepSeek-R1在OK3588-C开发板上运行的CPU占用为12%~17%，这一表现证明了框架的高效性，使其即便在资源受限的设备上也能顺利运行，扩展了其应用场景和商业潜力。
$ C$ w* [7 x+ x8 A3 [, x/ f



7 {& a7 |/ Y* z" Q. ^1 A

[backcolor=rgba(0, 0, 0, 0.1)]
[backcolor=rgba(0, 0, 0, 0.1)]

' j4 x% [3 R' r- J% Z* B
" C- m8 |$ k$ u
  ?) J( C* F0 I" a9 f+ R
& n7 p! P* ]$ ]% G+ P; l1 y
添加图片注释，不超过 140 字（可选）

- {. e. ]# z+ J, {& H
& n! F" x- N/ G7 z4 ~* P% m
" z5 {1 v: B# W1 |' I) C
. G3 w3 x8 `  z8 n5 Q) v内存占用：在进行上述功能测试时，DeepSeek-R1的内存使用量约为825MB。这保证了系统的流畅运行，避免了由于内存不足引起的性能问题，使得用户的应用体验更加顺畅。
; I/ o6 Y3 p7 I( ~( n$ U

[backcolor=rgba(0, 0, 0, 0.1)]
+ c9 [4 E* e3 p+ y' C[backcolor=rgba(0, 0, 0, 0.1)]

添加图片注释，不超过 140 字（可选）
* x. [' Q# x$ }, L8 F
  D- I5 g2 s/ q. H: ~3 q. H


NPU占用：由下图可见DeepSeek-R1在OK3588-C开发板上运行时，能够更高效地分配计算资源，其NPU（神经处理单元）的三个核心负载均达到了83%。
% X8 y2 B7 C+ J/ Y0 p
" B# w4 l: O& _6 A
+ G" H. `  N- f3 E9 e! v/ z) a: l

[backcolor=rgba(0, 0, 0, 0.1)]
" D8 \% F9 e9 y, x, u4 \5 E[backcolor=rgba(0, 0, 0, 0.1)]
5 }0 Q2 T2 o+ A( M/ P8 Q
' R+ t2 Y4 U7 n$ c) H

3 D- p! Y  U. J+ r

. N. ]; L& ~# f, z, r' H

0 z+ D0 R& j/ ?" y1 Y) W. d添加图片注释，不超过 140 字（可选）
- Q0 }8 z+ e, P* A) m


$ ]9 i, s, z- S" w

kingweison

:):)

kingweison

:):):)

kingweison

:):)