RK3588开发板上部署DeepSeek-R1大模型的完整指南

罗罗诺亚

DeepSeek作为国产AI大数据模型的代表，凭借其卓越的推理能力和高效的文本生成技术，在全球人工智能领域引发广泛关注。DeepSeek-R1作为该系列最新迭代版本，实现了长文本处理效能跃迁、多模态扩展规划、嵌入式适配等技术维度的突破。
: ^1 a! W" N$ t, M8 |
7 V( ^+ R* W9 _' ]( PRK3588作为瑞芯微推出的旗舰级芯片，凭借多核异构计算能力以及强大的CPU、GPU和NPU性能，成为嵌入式AI应用的理想平台。DeepSeek-R1与OK3588-C开发板的深度融合，标志着国产AI大模型从云端向边缘端的延伸。这种“先进算法+定制化芯片”的协同模式，不仅解决了边缘侧实时性、隐私保护等关键需求，更构建起从技术研发到产业赋能的完整价值链条，为各行业智能化转型提供可复用的创新范式。接下来，让我们深入探讨这一过程是如何具体实现的。

一、移植过程
（1）下载DeepSeek-R1源码
在Ubuntu虚拟机上从DeepSeek-R1官网地址下载DeepSeek-R1-Distill-Qwen-1.5B权重文件。

（2）安装转换工具
在Ubuntu创建虚拟环境并安装RKLLM-Toolkit，以便将DeepSeek-R1大语言模型转换为RKLLM模型格式和编译板端推理的可执行程序。

（3）模型转换
使用RKLLM-Toolkit对模型进行转换，RKLLM-Toolkit提供模型的转换、量化功能。作为RKLLM-Toolkit的核心功能之一，它允许用户将Hugging Face或GGUF格式的大语言模型转换为RKLLM模型，从而将RKLLM模型在Rockchip NPU上加载运行。
8 U  l7 b* H0 H$ R0 Y: m/ |% y. n
（4）编译DeepSeek-R1程序
2 o8 j) J) E4 j- O2 n  W安装交叉编译工具链，以编译RKLLM Runtime可执行文件，该程序包含模型初始化、模型推理、回调函数处理输出和模型资源释放等全部流程。
5 G2 P8 n$ Q; p) t6 F
* e) D# |' I0 Y2 ]# b. o% {（5）模型部署
: u# e# @5 U9 E* g将编译好的RKLLM模型和可执行文件上传至板端即可执行，这样就可以在OK3588-C开发板的调试串口上和DeepSeek-R1对话了，而且无需联网。
7 d2 D8 G! V3 |" K" _
二、效果展示
DeepSeek-R1是一款多功能的人工智能助手，它在多个领域内均能提供高效而全面的支持。即便是本地离线版本，无论是日常的信息检索需求、专业设备的维修指导建议、复杂数学问题的解答，还是编程任务的辅助完成，R1都能凭借其强大的数据处理能力和广博的知识储备库，给出既准确且实用的建议，成为用户在各领域探索时的可靠伙伴。

（1）普通信息搜索
DeepSeek-R1能够快速检索并提供准确的信息。例如，当询问“保定飞凌嵌入式技术有限公司”时，DeepSeek-R1可以详细介绍该公司的背景、主营业务、产品特点等，帮助用户全面了解该公司的情况。

' c# W3 J* r" H- z5 y

[backcolor=var(--GBK09A)]
) i: j7 H7 [) ~* x3 c7 Q

[color=var(--GBK99A)]上传视频封面

5 s* D9 t: |  R  Q

. X" r# a; r( t$ y$ r
& C: x/ m! k, Z& Q- K' k: Q# E3 v
; e. g" H7 P* i+ q. i

​[color=var(--GBK05A)]好的标题可以获得更多的推荐及关注者
0 P8 ]' S" |) f1 d4 z' X

; Y8 G# h0 e! q5 ]* T2 d
& M9 w2 V+ |0 E( `2 v

4 G  d1 z3 W: t" ]( y+ T/ U$ T
, `+ j3 G6 f. A
（2）专业设备问题维修意见
对于专业设备问题，DeepSeek-R1能够提供详细的故障分析和解决方案。例如，针对PLC报错误码E01的问题，R1分析可能造成故障的原因，如电源问题、接线错误或硬件故障，并提供相应的解决步骤，帮助用户快速排除故障。

) I4 |1 x* B3 E# V/ S
0 H# V  G! {& g% F: q  @/ M( r
[backcolor=var(--GBK09A)]

. W( V) X$ v( o. p- \5 @  D6 s! v, _

[color=var(--GBK99A)]上传视频封面

8 r5 }. f4 N: b7 o/ b7 S

​[color=var(--GBK05A)]好的标题可以获得更多的推荐及关注者

3 b! d6 x8 q' ]. ~+ q
5 g* O# G, w+ m3 g; B5 ^
& F8 R2 J& V0 s! t) H1 m  [# _


8 @. V( t; g" G" `* [
0 c( C6 g! U! s* \6 O! J（3）数学题解答
DeepSeek-R1拥有卓越的数学运算能力，擅长解决各类数学难题。举例来说，在面对红蓝铅笔的采购问题时，它能够巧妙地构建方程组并迅速求解，精确计算出红铅笔与蓝铅笔的应购数量，为用户提供即时且准确的解决方案。不仅如此，DeepSeek-R1还附带了详尽的验证步骤，确保结果的准确无误。
  Y! Z, H5 l4 ^
! i9 z5 t& q1 b: `' {  I, @

8 ^4 s6 i+ t3 u$ @  ?2 G4 ]) X: |[backcolor=var(--GBK09A)]

. p3 o0 O5 K' o* k4 G. l

[color=var(--GBK99A)]上传视频封面

; r. [. g- u4 `  Q

, s* Y: h+ e- E4 A2 R6 a
/ T1 H3 [# \5 z/ X9 n9 }" w
  c9 k0 I- R5 J9 @% s
​[color=var(--GBK05A)]好的标题可以获得更多的推荐及关注者





: L0 K% W6 y1 r- _1 y
. E# v5 v+ |7 R
* e) f  I9 J- c/ @（4）编程任务
3 e2 k/ H4 r4 r: p6 c  W. X- j8 eDeepSeek-R1在编程方面表现出色，能够根据用户需求编写代码。例如，针对OK3588-C开发板的串口通信需求，R1可以提供完整的C语言示例程序，包括串口初始化、数据接收和发送等功能，帮助用户实现串口通信。



8 E6 v- p3 g! N8 q- t! D9 w[backcolor=var(--GBK09A)]

[color=var(--GBK99A)]上传视频封面

* |6 l- j1 Y9 S4 H! W/ D

; S; u7 ^; J( i$ H* Z- |% a
5 O1 ]( i5 l+ @# D; O
$ i) M) n+ }" [# M" s' i, T
# V( U) V" {/ z8 I1 p" y
* W9 e1 V  f; E​[color=var(--GBK05A)]好的标题可以获得更多的推荐及关注者

6 l/ g9 M1 o9 F1 w1 n


( @+ _8 j! ?, r0 d" b


: w) H7 X. C& ~% X& o从上述视频中不难发现，DeepSeek-R1在众多领域内彰显了其卓越的实用价值与高效性能，已然成为用户工作中不可或缺的智能伙伴。
8 t; t1 d9 O3 U. `
# @  e' w4 y& e6 S4 `三、性能测评
- g- J, b1 K) l8 w在完成移植后我们进行了全面的性能评测，以验证 DeepSeek-R1在OK3588-C开发板上的运行效果。经过详细的测试与对比，归纳了以下几个关键性能指标：实时性：从上文视频播放中可以看到，DeepSeek-R1输出的回答结果清晰且流畅，未出现任何延迟或卡顿现象。CPU占用：DeepSeek-R1在OK3588-C开发板上运行的CPU占用为12%~17%，这一表现证明了框架的高效性，使其即便在资源受限的设备上也能顺利运行，扩展了其应用场景和商业潜力。

/ k* D+ B, m: P4 T+ c

[backcolor=rgba(0, 0, 0, 0.1)]
[backcolor=rgba(0, 0, 0, 0.1)]
6 L2 a& l! u4 y$ P. `# Z9 h$ o
% e1 M' _# I9 |. `5 W6 }. |

! B, E: t, o$ e  l2 R! U) r" |: e# N


, O" n+ P8 U% ~
添加图片注释，不超过 140 字（可选）
. i0 o) b5 O  E$ w6 T
& V) d6 E& n7 N( l' p


内存占用：在进行上述功能测试时，DeepSeek-R1的内存使用量约为825MB。这保证了系统的流畅运行，避免了由于内存不足引起的性能问题，使得用户的应用体验更加顺畅。
2 v9 E! H% D8 s5 m
5 i  _5 p+ T/ _- L
* w- z3 ~( Z; l- u" ^5 x0 W+ n. z
& e: K$ g: @& R. F, ]

[backcolor=rgba(0, 0, 0, 0.1)]
4 W8 M) I- D" Z( g; M% s[backcolor=rgba(0, 0, 0, 0.1)]

. W6 j1 r- y1 B) B  C  h: l

0 d/ q5 Q9 O% K7 u) D8 P
( g1 X. M& k( E+ s
" ~2 k& [3 I2 {/ O3 D
# j! U1 n! l2 L6 ]0 v1 d; u7 \4 x) h" P
添加图片注释，不超过 140 字（可选）
. g" c: ?, `3 D, G' K


! G( G1 c5 {( _! e; K. I
NPU占用：由下图可见DeepSeek-R1在OK3588-C开发板上运行时，能够更高效地分配计算资源，其NPU（神经处理单元）的三个核心负载均达到了83%。

1 |  r  z' D' b. S

[backcolor=rgba(0, 0, 0, 0.1)]
7 d, E4 S4 s3 W& y; |+ ][backcolor=rgba(0, 0, 0, 0.1)]

. R1 j. ~9 c3 F4 U& B/ I; {, J

3 D. [0 J. F/ Z. |% ]



6 j& `' t/ u8 O; Y, P0 q0 P2 @8 u添加图片注释，不超过 140 字（可选）


( R5 C4 Z1 D0 X* j/ F% X

kingweison

:):)

kingweison

:):):)

kingweison

:):)