找回密码
 注册
关于网站域名变更的通知
查看: 329|回复: 2
打印 上一主题 下一主题

RK3588开发板上部署DeepSeek-R1大模型的完整指南

[复制链接]

该用户从未签到

跳转到指定楼层
1#
 楼主| 发表于 2025-2-27 16:46 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式

EDA365欢迎您登录!

您需要 登录 才可以下载或查看,没有帐号?注册

x
DeepSeek作为国产AI大数据模型的代表,凭借其卓越的推理能力和高效的文本生成技术,在全球人工智能领域引发广泛关注。DeepSeek-R1作为该系列最新迭代版本,实现了长文本处理效能跃迁、多模态扩展规划、嵌入式适配等技术维度的突破。
. x  w/ N) i+ W3 @
+ x/ S1 _) ]- T+ ~6 D" p
RK3588作为瑞芯微推出的旗舰级芯片,凭借多核异构计算能力以及强大的CPU、GPU和NPU性能,成为嵌入式AI应用的理想平台。DeepSeek-R1与OK3588-C开发板的深度融合,标志着国产AI大模型从云端向边缘端的延伸。这种“先进算法+定制化芯片”的协同模式,不仅解决了边缘侧实时性、隐私保护等关键需求,更构建起从技术研发到产业赋能的完整价值链条,为各行业智能化转型提供可复用的创新范式。接下来,让我们深入探讨这一过程是如何具体实现的。, F9 X  v% h; ?, i2 b
& S2 Y2 c% A" w1 D. \2 z+ v
一、移植过程& J% U# |9 a$ z
(1)下载DeepSeek-R1源码 0 M3 d$ a5 Y, r! m8 m
在Ubuntu虚拟机上从DeepSeek-R1官网地址下载DeepSeek-R1-Distill-Qwen-1.5B权重文件。
2 m2 t2 x  H0 E7 Q  {2 L
: s2 P8 X- ~; N/ K3 I
(2)安装转换工具
: |" X6 u; O! B
在Ubuntu创建虚拟环境并安装RKLLM-Toolkit,以便将DeepSeek-R1大语言模型转换为RKLLM模型格式和编译板端推理的可执行程序。
' `$ H+ o! E$ G5 k. k  e5 c
4 G2 {/ g3 x/ @0 p+ @5 s1 Z
(3)模型转换 * G1 r6 T4 Q) j/ k: E
使用RKLLM-Toolkit对模型进行转换,RKLLM-Toolkit提供模型的转换、量化功能。作为RKLLM-Toolkit的核心功能之一,它允许用户将Hugging Face或GGUF格式的大语言模型转换为RKLLM模型,从而将RKLLM模型在Rockchip NPU上加载运行。
: r. \5 q: M) a1 q

% g, v- Q! d. Q# v. F, S; M(4)编译DeepSeek-R1程序
6 c, s$ n- j& [0 q& e4 ?; v
安装交叉编译工具链,以编译RKLLM Runtime可执行文件,该程序包含模型初始化、模型推理、回调函数处理输出和模型资源释放等全部流程。
. v, T, t2 H3 k( ^( E0 |* h

+ G4 X9 J: b* j(5)模型部署 ' x0 z2 c4 T, [* d4 I! l4 o9 f1 |! K) s
将编译好的RKLLM模型和可执行文件上传至板端即可执行,这样就可以在OK3588-C开发板的调试串口上和DeepSeek-R1对话了,而且无需联网。
1 ]. N: G2 ]* @- O/ W

) p% w% F" L/ x% ~6 X* q8 z二、效果展示
' V* J' |9 @: m% U; [; e7 k0 O. ^
DeepSeek-R1是一款多功能的人工智能助手,它在多个领域内均能提供高效而全面的支持。即便是本地离线版本,无论是日常的信息检索需求、专业设备的维修指导建议、复杂数学问题的解答,还是编程任务的辅助完成,R1都能凭借其强大的数据处理能力和广博的知识储备库,给出既准确且实用的建议,成为用户在各领域探索时的可靠伙伴。
' O% N8 w5 D( B" s. r

- K9 J5 C# Z# E0 Q(1)普通信息搜索
( s) [& g. p4 w
DeepSeek-R1能够快速检索并提供准确的信息。例如,当询问“保定飞凌嵌入式技术有限公司”时,DeepSeek-R1可以详细介绍该公司的背景、主营业务、产品特点等,帮助用户全面了解该公司的情况。2 B# S5 `! I/ Z' C0 l' O0 y8 `

( p: m* c& m& f( u& w% f
- f" l4 T2 S# q" K$ S
( Y, B6 m1 o/ K* r) G2 e
[backcolor=var(--GBK09A)]
$ R+ r* }# m- ~9 A! v/ d1 Z. y6 H" k* i' L+ Q& E" e
[color=var(--GBK99A)]上传视频封面

; U, B' g% r$ Y. C0 k3 a/ `& o- r% P* T) \  s7 y( A  j

. Q+ l- ]; R  W8 g$ n
2 L5 p- V' K; Y, d
+ h* H8 L% }; M: Q" T
: O6 E' f0 W/ @0 H. }1 k$ M$ u3 c+ t. _& e
​[color=var(--GBK05A)]好的标题可以获得更多的推荐及关注者
4 [" _) j: [- Y" L- i* d1 [1 Q! ?$ i+ s8 R
# i, D; d4 H/ Y' ~  q" _. k4 Y
+ R7 R  I- j& H. V
6 M$ y! F8 t& W( {- a3 h1 y. f  h' i6 ~

4 {$ u2 T1 Z6 U
- M8 X+ N  O6 _, K% L/ n* ?
  t3 N5 P& e& o" I. D( _- J1 {(2)专业设备问题维修意见8 t8 j8 E6 d1 {2 C9 X1 z
对于专业设备问题,DeepSeek-R1能够提供详细的故障分析和解决方案。例如,针对PLC报错误码E01的问题,R1分析可能造成故障的原因,如电源问题、接线错误或硬件故障,并提供相应的解决步骤,帮助用户快速排除故障。
. g$ _3 k* I3 x8 \6 Y6 y' J7 ~

  v' I8 X$ C% Q
9 A/ M% {3 ?* ~
. l+ P) R6 b5 H! u0 p* A1 C
[backcolor=var(--GBK09A)]
9 e( G9 E0 g' M1 _: O% l4 F" ~/ N& R7 W7 ~, z# z
[color=var(--GBK99A)]上传视频封面
+ w+ ?$ i6 X( w" L2 _, K5 Z+ r* i

8 s' S' m% ]0 g$ t
# ?5 |- X2 V. [' P1 F! T" V6 l* V9 Y) G$ v" E6 L/ Y
/ |4 E- W8 p* u- f! m4 ]4 ^$ C! a

$ {/ x/ S; O# V, a/ D  m! A9 |& ?" Y
​[color=var(--GBK05A)]好的标题可以获得更多的推荐及关注者
2 K3 ?8 y* x. L5 W: [9 q4 I0 B- T" ]" J% d! R4 @6 I
7 `8 g; V" A" y% O- r
( O! @. |/ |# r1 G3 v
4 y  O/ Y/ `. i. M3 [
/ u8 e$ }' O# O/ j& y

8 o4 v/ X8 x+ }# f2 K% G. C: [2 i5 y5 }" I9 ~8 u
(3)数学题解答& ?: y' j5 v( [! d3 `
DeepSeek-R1拥有卓越的数学运算能力,擅长解决各类数学难题。举例来说,在面对红蓝铅笔的采购问题时,它能够巧妙地构建方程组并迅速求解,精确计算出红铅笔与蓝铅笔的应购数量,为用户提供即时且准确的解决方案。不仅如此,DeepSeek-R1还附带了详尽的验证步骤,确保结果的准确无误。
7 W/ E9 K; L# a9 K9 y% _9 T9 Y
/ b& }' l' C8 m$ v

/ Z7 C9 X' F5 Y3 ?4 K
+ g" V1 E- t) r* u
[backcolor=var(--GBK09A)]
3 j' g- d5 k& U8 S  @0 B+ Z. f# K' d# d
[color=var(--GBK99A)]上传视频封面
5 ?1 m9 B" s% I3 e0 e% {# Y
0 l; L7 Y; @# o; t& x

  f2 o8 M5 i0 j6 d9 n+ u$ s& `" p" Z) P; P3 h0 @& i! o

& g( t. `. M1 O0 ?" g7 k7 d6 o$ g* _- |

7 x& {( X* D( i) O9 k; k4 D​[color=var(--GBK05A)]好的标题可以获得更多的推荐及关注者
. H* I7 y5 U8 O$ F
# V& E- F) x1 x$ x  F% R" L0 E
: i# X% Y7 K# g6 n- I/ Z" R! I: H: L5 {: U* d
+ |5 B1 _/ \- ~, ~% N# T! w) {

3 g: N$ y4 \$ F  b4 Y0 g* m! r, D$ V) L* y

- Y  a" f9 ~2 L; A- c% L(4)编程任务
1 i( S  ^6 p( H9 x( g( R' u; @" M
DeepSeek-R1在编程方面表现出色,能够根据用户需求编写代码。例如,针对OK3588-C开发板的串口通信需求,R1可以提供完整的C语言示例程序,包括串口初始化、数据接收和发送等功能,帮助用户实现串口通信。
# U( `# s( U# m9 R* D
/ e  k/ d% J/ x- R3 r5 x
0 r" f3 g: w4 U) {  _6 g* Z

! I5 g0 `2 y+ H# \* o- F  ^; @[backcolor=var(--GBK09A)]9 \+ s4 P) J9 q

: T0 D; M, U) N& q( q% V
[color=var(--GBK99A)]上传视频封面

9 H/ e" E" p  S& H* B7 T; h: q# @# x5 l! E

& u2 F& ^  g. g: m7 \2 i
. _8 R1 [  f# K5 \. p: i0 f
) i( G7 H& z. M: u1 l% j8 L4 H
% N$ D% l, e! Z
* L8 @6 g- f& t​[color=var(--GBK05A)]好的标题可以获得更多的推荐及关注者
4 C% ]7 F3 j# o
4 g! R+ r* X, B/ t# d% W5 m. ]0 ?& B
5 }9 z. q0 }9 ]; Q
3 |6 L7 q! M$ s6 b9 S7 i0 O2 O) W! Z" X" W. u  e" p( v- G; U

) y) ~, x" a6 ?' {* z+ q( @+ P' Q) Y4 f7 Y7 g. Y

' [4 e0 j  k* K9 _$ Q* l从上述视频中不难发现,DeepSeek-R1在众多领域内彰显了其卓越的实用价值与高效性能,已然成为用户工作中不可或缺的智能伙伴。
( L! ~: z, M) [5 Y7 w1 B1 R
2 n' ^+ m9 N; i6 Z
三、性能测评7 C. s+ o/ O. }/ i! w% V
在完成移植后我们进行了全面的性能评测,以验证 DeepSeek-R1在OK3588-C开发板上的运行效果。经过详细的测试与对比,归纳了以下几个关键性能指标:实时性:从上文视频播放中可以看到,DeepSeek-R1输出的回答结果清晰且流畅,未出现任何延迟或卡顿现象。CPU占用:DeepSeek-R1在OK3588-C开发板上运行的CPU占用为12%~17%,这一表现证明了框架的高效性,使其即便在资源受限的设备上也能顺利运行,扩展了其应用场景和商业潜力。
! v& c& N1 N6 ^* C( q0 u! u, r
" Z  }; z- p+ A

7 m8 e+ P5 X; z4 Y* e# ~0 ]
8 w$ ]7 {& j+ w1 r% f8 m2 T7 t2 z
+ Y2 X0 F: M; Y' z- {4 |+ d/ u  k
[backcolor=rgba(0, 0, 0, 0.1)]
+ }: a6 d0 O6 l' J, {[backcolor=rgba(0, 0, 0, 0.1)]2 n# n& C2 P! t
5 u6 B" n5 S" {! \+ L

! y4 Z' p9 U" V2 x  |9 d' f/ `, _8 l1 U/ c4 a& |- e

# A3 |$ U6 I# {' f  {  R0 S8 g, e8 L& u7 U4 _
/ m* H1 b  i3 Z$ i
添加图片注释,不超过 140 字(可选)
" Y+ l4 a5 r2 F9 M& G+ @" s3 K6 I, _& V; H% ?

; G- o& g' H1 q: v1 `
7 \' [3 {: W+ l

4 `6 Q) M+ G) x$ r9 N* W# q% B内存占用:在进行上述功能测试时,DeepSeek-R1的内存使用量约为825MB。这保证了系统的流畅运行,避免了由于内存不足引起的性能问题,使得用户的应用体验更加顺畅。
2 g$ B3 k5 r% g! C( n/ C& u  ?
* [- @( Z/ p9 J; q2 O

" f: w/ P7 @; C4 R
; E5 ~+ n3 D+ d/ L' z9 Q: q' v3 A

+ l0 a7 r0 y" V
[backcolor=rgba(0, 0, 0, 0.1)]
( @' w! s2 ?' Y) C[backcolor=rgba(0, 0, 0, 0.1)]  s7 s, g, ^" ?3 F, Z4 M1 P

$ a0 ^" y2 e# |: G3 t! S
0 c6 N6 z' D/ `$ v! |1 I% E4 x
- t& F9 r* z7 f9 x$ f( t. D
! ?7 w2 }! ^: T7 e: Y/ Z
) n# w+ A- D; {! H% `. h
! f6 _8 X0 P' ?  ]9 P8 @
添加图片注释,不超过 140 字(可选)
- S  f0 p! k, ^0 x
- s" q6 u9 |, w7 G6 B/ U
) T4 m. e& f2 C# C  J5 l7 y5 m+ [+ O: C/ N7 b
0 F, ?# R* C  m/ F# }# _3 ^0 o
NPU占用:由下图可见DeepSeek-R1在OK3588-C开发板上运行时,能够更高效地分配计算资源,其NPU(神经处理单元)的三个核心负载均达到了83%。
8 ~3 P* B2 u4 Y1 E' l0 Z% }0 w

/ G2 O% I2 P7 \; A6 Z6 T
; b- u, ^4 ~" k6 L
  Z( ]  M& ]) G3 y- i
6 x# f- P0 Y" [! ^, f6 U
[backcolor=rgba(0, 0, 0, 0.1)]. Q( w' w, P) v9 m5 t7 ~& m& f0 l( h( U
[backcolor=rgba(0, 0, 0, 0.1)]( E& L& k) F# y" J  ~

' ^3 C9 @  H' t5 D/ E" C3 R

" r. }+ N6 o; @4 a8 W! e" w0 v% [7 z- C& a9 R7 C. a2 m. t% C5 w1 n0 o
4 }% l( U; m6 [  E8 z! i' ^' t( Y9 _8 D6 R

9 u$ F& t) q" W
  O2 p8 J2 R" N" R! G  E1 K6 t添加图片注释,不超过 140 字(可选)8 ?, j, U6 \% F
: W% K% E% i9 c- K9 j5 s" ~8 ^; E
2 I4 W$ f' t; D& j' i! \4 i6 n3 X
, m- ?: K8 D/ ?* Z& C0 Y# o
您需要登录后才可以回帖 登录 | 注册

本版积分规则

关闭

推荐内容上一条 /1 下一条

EDA365公众号

关于我们|手机版|EDA365电子论坛网 ( 粤ICP备18020198号-1 )

GMT+8, 2025-6-14 23:32 , Processed in 0.078125 second(s), 23 queries , Gzip On.

深圳市墨知创新科技有限公司

地址:深圳市南山区科技生态园2栋A座805 电话:19926409050

快速回复 返回顶部 返回列表