找回密码
 注册
关于网站域名变更的通知
查看: 387|回复: 2
打印 上一主题 下一主题

RK3588开发板上部署DeepSeek-R1大模型的完整指南

[复制链接]

该用户从未签到

跳转到指定楼层
1#
 楼主| 发表于 2025-2-27 16:46 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式

EDA365欢迎您登录!

您需要 登录 才可以下载或查看,没有帐号?注册

x
DeepSeek作为国产AI大数据模型的代表,凭借其卓越的推理能力和高效的文本生成技术,在全球人工智能领域引发广泛关注。DeepSeek-R1作为该系列最新迭代版本,实现了长文本处理效能跃迁、多模态扩展规划、嵌入式适配等技术维度的突破。; N! M- d3 i4 r* U3 {; J5 m( ]5 r

2 x& a% R) z$ K+ T* yRK3588作为瑞芯微推出的旗舰级芯片,凭借多核异构计算能力以及强大的CPU、GPU和NPU性能,成为嵌入式AI应用的理想平台。DeepSeek-R1与OK3588-C开发板的深度融合,标志着国产AI大模型从云端向边缘端的延伸。这种“先进算法+定制化芯片”的协同模式,不仅解决了边缘侧实时性、隐私保护等关键需求,更构建起从技术研发到产业赋能的完整价值链条,为各行业智能化转型提供可复用的创新范式。接下来,让我们深入探讨这一过程是如何具体实现的。
% B$ H. d5 m- p5 o
! E7 T/ M" e$ a7 J1 v" Y0 Z9 m3 o
一、移植过程
, y' {( g7 J9 I  {# L5 X! o  K! ]
(1)下载DeepSeek-R1源码
/ ?# Z: B3 f; f6 ]
在Ubuntu虚拟机上从DeepSeek-R1官网地址下载DeepSeek-R1-Distill-Qwen-1.5B权重文件。4 T- t& W" W1 |7 ]9 N8 p* o5 c
5 A9 f# ^# z( f
(2)安装转换工具 ) x, X9 S+ r: H' @1 |% D
在Ubuntu创建虚拟环境并安装RKLLM-Toolkit,以便将DeepSeek-R1大语言模型转换为RKLLM模型格式和编译板端推理的可执行程序。2 Z  U1 _% \2 G
7 R( @  C7 S3 Q+ A" u
(3)模型转换
" w' G5 E" J4 e3 X! D! G) {
使用RKLLM-Toolkit对模型进行转换,RKLLM-Toolkit提供模型的转换、量化功能。作为RKLLM-Toolkit的核心功能之一,它允许用户将Hugging Face或GGUF格式的大语言模型转换为RKLLM模型,从而将RKLLM模型在Rockchip NPU上加载运行。) Z* q5 s) @9 l
5 P) M' N5 f; |& X- v: [' X
(4)编译DeepSeek-R1程序
* e% i5 f1 }4 z3 L9 W  K5 G
安装交叉编译工具链,以编译RKLLM Runtime可执行文件,该程序包含模型初始化、模型推理、回调函数处理输出和模型资源释放等全部流程。
4 u9 w' u2 x6 S
( J) x3 ?9 i' h& b/ o
(5)模型部署 5 s& o% R2 c7 M& S
将编译好的RKLLM模型和可执行文件上传至板端即可执行,这样就可以在OK3588-C开发板的调试串口上和DeepSeek-R1对话了,而且无需联网。& r2 D  ?5 A* i% Y3 T; ^

2 h" ~5 }, u- M2 n! E" A二、效果展示
2 h6 n6 Z3 u5 o: t
DeepSeek-R1是一款多功能的人工智能助手,它在多个领域内均能提供高效而全面的支持。即便是本地离线版本,无论是日常的信息检索需求、专业设备的维修指导建议、复杂数学问题的解答,还是编程任务的辅助完成,R1都能凭借其强大的数据处理能力和广博的知识储备库,给出既准确且实用的建议,成为用户在各领域探索时的可靠伙伴。# v& T1 N, z9 q% U; S
& Z+ U2 i7 n5 v
(1)普通信息搜索; d  {2 X/ T& j) d$ A+ d) Q) c
DeepSeek-R1能够快速检索并提供准确的信息。例如,当询问“保定飞凌嵌入式技术有限公司”时,DeepSeek-R1可以详细介绍该公司的背景、主营业务、产品特点等,帮助用户全面了解该公司的情况。
# J2 \9 q* N# h' T& l
7 P4 P# w& e/ [5 M7 M" y
4 t# {* C9 Q- S. L+ F# Q1 S

5 x0 J' O; P4 P; f1 G4 n9 M[backcolor=var(--GBK09A)], F5 }+ Y+ Q& Z: {. {7 s4 V

. s/ x0 m$ Q; g8 n8 u9 H4 z
[color=var(--GBK99A)]上传视频封面
+ e! o  w, j) i
; @# n1 H$ L! p
7 G0 ~+ ]! n( T( Y1 k- ]0 q$ w- [, S

9 }/ O( {1 e/ J; B
$ g" B  U2 B) n, R
7 Y* F7 D% W. f  B' V% b, `! J/ f/ Z7 [: k8 J* z) ?' `
​[color=var(--GBK05A)]好的标题可以获得更多的推荐及关注者2 m! B/ o2 p+ m! V' R: v- b
5 N  W6 u1 N8 C, [! ^( i

1 t, M2 L0 \( o3 C% s2 ^* Q* \: o+ c9 W; t8 K- U+ W) f+ a3 D

: X4 O9 V' B$ n) Z& _7 V- d8 c; e, D$ }6 M

# \. b/ \7 E; e; n; \  U2 I# U, w/ p! W& ~7 {' P9 ]
(2)专业设备问题维修意见
2 v3 k9 h+ L8 [
对于专业设备问题,DeepSeek-R1能够提供详细的故障分析和解决方案。例如,针对PLC报错误码E01的问题,R1分析可能造成故障的原因,如电源问题、接线错误或硬件故障,并提供相应的解决步骤,帮助用户快速排除故障。; m3 S/ X& F* T7 M1 ~

) t! H3 T* v# V( s2 g: `2 B2 K
# d7 Q; L  I2 X
  X5 t; J/ B2 @, c9 Z
[backcolor=var(--GBK09A)]
% G- Q) H6 B, a8 G2 c1 f5 M9 I- D8 @% V# y
[color=var(--GBK99A)]上传视频封面
5 e: }  v6 m; |

2 d  |" X' e9 g% U1 D
- W3 @5 J8 F+ J; @/ C
/ T: w2 @% L" R2 l5 h; U, X# g6 @6 K
! v: |/ ^, G" b" I

2 J* Z: \% y7 U: s/ V​[color=var(--GBK05A)]好的标题可以获得更多的推荐及关注者0 s* @9 M5 K  ^( f/ j& l; E

9 L0 e* d* X5 s: `) I5 g
/ {1 ]- [  W( p& i% G
/ V7 Y; ~4 N& B) g+ A9 n7 w- Y5 H9 r6 f0 f9 n
, u) z; t  {0 m; x2 ?
  W* W" ^% A  W0 c/ V+ O9 n: Q6 ~
( c6 s! w; q: ^/ O( `
(3)数学题解答+ F8 S1 L& j6 y: _# P
DeepSeek-R1拥有卓越的数学运算能力,擅长解决各类数学难题。举例来说,在面对红蓝铅笔的采购问题时,它能够巧妙地构建方程组并迅速求解,精确计算出红铅笔与蓝铅笔的应购数量,为用户提供即时且准确的解决方案。不仅如此,DeepSeek-R1还附带了详尽的验证步骤,确保结果的准确无误。
% M; C) i5 R: v" w9 H. V

+ d( F" e3 ]! a( C+ Q3 L / B, Q3 w! r5 k, v; n
: m& j( F2 J& Y2 B8 }' q8 t
[backcolor=var(--GBK09A)]) E0 A2 }1 e4 V& `0 Z
. n( D2 j! g. I+ L9 u
[color=var(--GBK99A)]上传视频封面

, W. _- `9 R( S- l/ y/ Q6 P$ E; B: d
4 g- _5 G1 f6 ^2 L9 v
6 k/ F+ U& ?& j( A) h# t
; ^7 Q, H8 i0 @0 ]& k3 D/ ~5 @

3 }, I) Z$ O- h" _4 q" @& u0 H5 i+ G; y
​[color=var(--GBK05A)]好的标题可以获得更多的推荐及关注者
) x! a1 X; ^% |/ S' Q# h  f  q8 r* P* c( W+ l+ T- o! y

( N6 Z1 z/ l6 ]5 b& i0 d
9 Y. A& x) }/ [- `# `. d, B( h! Z$ T7 [
' Z2 ?& Z3 h' c2 B

: j/ a/ O: K' `( d2 z4 s0 |
5 y$ D1 C; H8 L$ G7 N(4)编程任务
) ?! }8 d/ ^% U& n( d* S
DeepSeek-R1在编程方面表现出色,能够根据用户需求编写代码。例如,针对OK3588-C开发板的串口通信需求,R1可以提供完整的C语言示例程序,包括串口初始化、数据接收和发送等功能,帮助用户实现串口通信。
8 w: r' o% h. z& z4 H
2 j" k7 \5 X, B
' `7 [* `* I; J) c7 [! r

1 @5 q/ @+ W  r[backcolor=var(--GBK09A)]
0 @; a, P+ A0 e3 v5 s4 I
& ~. v+ R/ n' k/ n2 q8 E5 P
[color=var(--GBK99A)]上传视频封面
/ M* R- a+ }# w0 O. X/ p; f# F/ Y
6 V$ O4 r' B# K$ Y! n9 g6 v

8 ^, V2 a: n+ l  C* A" L
$ n  @( O6 X& X! _4 M. U  Y: |! S' [! j. k( S9 M3 u/ X

6 x; L0 b# k+ P7 _6 M  T% c9 i9 _' Y/ N* |6 @. q
​[color=var(--GBK05A)]好的标题可以获得更多的推荐及关注者+ \- G. A/ T% g$ X) r
' r4 ~% }& Z1 k7 U5 j# I% `
3 h; g5 V  c5 f: P" W
, F- K9 R$ K  f" U' z8 y

( ?  a9 m3 p# U3 i  [1 V2 Q9 k6 m
! ?7 f0 O! F6 V% o6 j
, v+ [: }1 d0 S% f: [3 W+ U1 w4 J0 Y0 E6 c$ @) s
从上述视频中不难发现,DeepSeek-R1在众多领域内彰显了其卓越的实用价值与高效性能,已然成为用户工作中不可或缺的智能伙伴。
/ R. ?* o. x8 Z$ v4 Z* v9 g
6 }  F1 r$ V5 F- F
三、性能测评! X8 m0 I! ^$ [$ R6 u, [
在完成移植后我们进行了全面的性能评测,以验证 DeepSeek-R1在OK3588-C开发板上的运行效果。经过详细的测试与对比,归纳了以下几个关键性能指标:实时性:从上文视频播放中可以看到,DeepSeek-R1输出的回答结果清晰且流畅,未出现任何延迟或卡顿现象。CPU占用:DeepSeek-R1在OK3588-C开发板上运行的CPU占用为12%~17%,这一表现证明了框架的高效性,使其即便在资源受限的设备上也能顺利运行,扩展了其应用场景和商业潜力。2 ^9 Y/ C: P, g! W4 f
' T4 I4 L% |* p; w3 x4 f: _2 G

$ B2 m8 V+ k+ \$ {2 D3 _/ @: y9 c+ D" I" s

7 A/ R4 I# }" |7 W
[backcolor=rgba(0, 0, 0, 0.1)]
) X, M- ^3 ]# A2 `1 q7 ~[backcolor=rgba(0, 0, 0, 0.1)]
; W2 F; M6 C8 b$ ~3 ?
% s& Z5 Q3 U8 D* P4 i4 g1 M
) Q/ ~6 b' B% X& g' L
8 d4 }8 X0 S7 `
( l. j" e8 v6 m, u, J3 L( c
% y/ Z' }% p# g% C7 o+ B* P

. E0 q, {9 i$ }2 T' j( r添加图片注释,不超过 140 字(可选)
- `9 q  i0 V9 ~8 W; L1 E9 I: c9 b$ ]' K% s# Z) t

# `, `* f2 I( A4 M
) B% T/ z; b. H

# a2 g& O8 V& F内存占用:在进行上述功能测试时,DeepSeek-R1的内存使用量约为825MB。这保证了系统的流畅运行,避免了由于内存不足引起的性能问题,使得用户的应用体验更加顺畅。7 O- e+ M& Y! q* o* F% J
& W5 ]6 y& J5 `& j( c: s

4 l8 @2 z$ ?- z8 P8 |0 g, a& c# M! B) V) \

2 ~9 V5 g! T$ {8 _( C0 p
[backcolor=rgba(0, 0, 0, 0.1)], T5 Q. |5 }" G- `% C
[backcolor=rgba(0, 0, 0, 0.1)]0 Q/ Q, Z: L0 b4 N$ P

7 h3 V+ R; G7 z  {# u, e; V: N

/ s4 d2 k; q6 e# W. K2 n9 f+ r4 C# {) A

+ u0 G5 e7 g3 _" H
: F$ E" \" B- `/ f+ U2 k8 H
: O: M$ V1 ]! q. A3 l+ E% t0 D添加图片注释,不超过 140 字(可选)! k) k4 w( e2 r5 g6 Y  u( q5 F

$ X0 I$ l( J! X, O( g/ ^1 X8 {. v( K% x( k8 ?/ S1 K: H

2 v1 e1 X) X' ?/ ]7 R
: G  T% f  Y1 |: D. ]5 C# @
NPU占用:由下图可见DeepSeek-R1在OK3588-C开发板上运行时,能够更高效地分配计算资源,其NPU(神经处理单元)的三个核心负载均达到了83%。
  e' m  ~2 B3 [$ k

2 }  p& q/ U! K% G, t, r$ r2 R5 s( _" }6 k: H' s/ n

% i; `' N% ^6 H- c$ Q- @" v
$ J6 p$ p' l- U4 Y8 \5 C2 c
[backcolor=rgba(0, 0, 0, 0.1)]
( k- B+ F: _1 h/ A% R, D[backcolor=rgba(0, 0, 0, 0.1)]8 @* Y) ]4 i* h, C

9 K. A8 P& R  L3 Z/ m4 M9 o
* o# ~3 e9 l3 n1 X

7 J, [6 B. k% B4 P9 [, y' G1 Q$ A
- G/ t4 l/ o) G0 @
, y0 }% C( M% w' ]* t6 e
: [3 [3 N7 c" z0 \" m; j5 f添加图片注释,不超过 140 字(可选)
8 [6 |- s8 o. {. r8 D3 u9 R
$ Y! @1 F3 z- h/ y( m* H9 V7 M, P( ?$ v$ d7 z
+ j" L; k7 ?9 N
您需要登录后才可以回帖 登录 | 注册

本版积分规则

关闭

推荐内容上一条 /1 下一条

EDA365公众号

关于我们|手机版|EDA365电子论坛网 ( 粤ICP备18020198号-1 )

GMT+8, 2025-7-5 18:49 , Processed in 0.125000 second(s), 23 queries , Gzip On.

深圳市墨知创新科技有限公司

地址:深圳市南山区科技生态园2栋A座805 电话:19926409050

快速回复 返回顶部 返回列表