|
EDA365欢迎您登录!
您需要 登录 才可以下载或查看,没有帐号?注册
x
DeepSeek作为国产AI大数据模型的代表,凭借其卓越的推理能力和高效的文本生成技术,在全球人工智能领域引发广泛关注。DeepSeek-R1作为该系列最新迭代版本,实现了长文本处理效能跃迁、多模态扩展规划、嵌入式适配等技术维度的突破。
: ^1 a! W" N$ t, M8 |
7 V( ^+ R* W9 _' ]( PRK3588作为瑞芯微推出的旗舰级芯片,凭借多核异构计算能力以及强大的CPU、GPU和NPU性能,成为嵌入式AI应用的理想平台。DeepSeek-R1与OK3588-C开发板的深度融合,标志着国产AI大模型从云端向边缘端的延伸。这种“先进算法+定制化芯片”的协同模式,不仅解决了边缘侧实时性、隐私保护等关键需求,更构建起从技术研发到产业赋能的完整价值链条,为各行业智能化转型提供可复用的创新范式。接下来,让我们深入探讨这一过程是如何具体实现的。9 {" ?( ^: G/ R
# t- x+ ~. B, |3 Y0 e
一、移植过程9 @$ p2 M9 u- X+ F V2 `8 _, {
(1)下载DeepSeek-R1源码 2 N8 o) b" A) B: g
在Ubuntu虚拟机上从DeepSeek-R1官网地址下载DeepSeek-R1-Distill-Qwen-1.5B权重文件。4 O2 B, } P8 N; Z- K' M! S
! A$ y/ Z. T' [7 r& W' J
(2)安装转换工具 4 }. [9 _# Z: [ G$ x
在Ubuntu创建虚拟环境并安装RKLLM-Toolkit,以便将DeepSeek-R1大语言模型转换为RKLLM模型格式和编译板端推理的可执行程序。& l& B9 J/ \: G6 [& X9 b
H2 h# _) ]" I4 F# b |
(3)模型转换 1 `/ k9 p9 J; L4 u) d, |
使用RKLLM-Toolkit对模型进行转换,RKLLM-Toolkit提供模型的转换、量化功能。作为RKLLM-Toolkit的核心功能之一,它允许用户将Hugging Face或GGUF格式的大语言模型转换为RKLLM模型,从而将RKLLM模型在Rockchip NPU上加载运行。
8 U l7 b* H0 H$ R0 Y: m/ |% y. n: q: V7 P* M- g
(4)编译DeepSeek-R1程序
2 o8 j) J) E4 j- O2 n W安装交叉编译工具链,以编译RKLLM Runtime可执行文件,该程序包含模型初始化、模型推理、回调函数处理输出和模型资源释放等全部流程。
5 G2 P8 n$ Q; p) t6 F
* e) D# |' I0 Y2 ]# b. o% {(5)模型部署
: u# e# @5 U9 E* g将编译好的RKLLM模型和可执行文件上传至板端即可执行,这样就可以在OK3588-C开发板的调试串口上和DeepSeek-R1对话了,而且无需联网。
7 d2 D8 G! V3 |" K" _3 u3 }! u9 g1 F
二、效果展示, }6 |, W. x, i- _
DeepSeek-R1是一款多功能的人工智能助手,它在多个领域内均能提供高效而全面的支持。即便是本地离线版本,无论是日常的信息检索需求、专业设备的维修指导建议、复杂数学问题的解答,还是编程任务的辅助完成,R1都能凭借其强大的数据处理能力和广博的知识储备库,给出既准确且实用的建议,成为用户在各领域探索时的可靠伙伴。. }: I n2 |" J! r. A" v; f* T/ X
$ O4 `/ L) i+ u
(1)普通信息搜索; F) ^6 T( h3 f& Y# e" s: i$ g/ [
DeepSeek-R1能够快速检索并提供准确的信息。例如,当询问“保定飞凌嵌入式技术有限公司”时,DeepSeek-R1可以详细介绍该公司的背景、主营业务、产品特点等,帮助用户全面了解该公司的情况。: O; u( ~* t, P3 n6 i
' c# W3 J* r" H- z5 y $ J' U2 u5 D# T3 e
# x' C3 Z' G1 r. C0 P7 C1 X
[backcolor=var(--GBK09A)]![]()
) i: j7 H7 [) ~* x3 c7 Q. e; A1 m7 B6 Q. K6 a
[color=var(--GBK99A)]上传视频封面
5 s* D9 t: | R Q, [, M) h) g( {8 w+ s& h. }+ l
. X" r# a; r( t$ y$ r
& C: x/ m! k, Z& Q- K' k: Q# E3 v
; e. g" H7 P* i+ q. i# w+ ^& L: ?1 F' X$ T F& L
; N8 u& Y4 K4 D J; `
[color=var(--GBK05A)]好的标题可以获得更多的推荐及关注者
0 P8 ]' S" |) f1 d4 z' X$ k8 J. ?8 w X) M4 M! ?) u
; Y8 G# h0 e! q5 ]* T2 d
& M9 w2 V+ |0 E( `2 v8 `; n8 [. E+ U8 R/ r
4 G d1 z3 W: t" ]( y+ T/ U$ T
, `+ j3 G6 f. A4 Y# o! M9 ` t; f, S& p( I8 `& T
(2)专业设备问题维修意见- `8 ^! X; S* C6 e
对于专业设备问题,DeepSeek-R1能够提供详细的故障分析和解决方案。例如,针对PLC报错误码E01的问题,R1分析可能造成故障的原因,如电源问题、接线错误或硬件故障,并提供相应的解决步骤,帮助用户快速排除故障。5 s6 r# [# Y5 D/ h; i
) I4 |1 x* B3 E# V/ S
0 H# V G! {& g% F: q @/ M( r. j' A! L* z6 u$ E3 I4 G
[backcolor=var(--GBK09A)] 3 S+ S6 i4 A5 r. m
. W( V) X$ v( o. p- \5 @ D6 s! v, _[color=var(--GBK99A)]上传视频封面 8 C% n E; C: ~8 o: E
0 q# l+ h5 P) d& Y' Y# g9 \
m& }& u. a3 T1 _6 P: K# f
1 i) |. R7 \8 ~1 c) i
8 r5 }. f4 N: b7 o/ b7 S3 H6 O2 L3 z2 _
9 K3 }; {6 b9 R! _+ n3 h M p7 t
[color=var(--GBK05A)]好的标题可以获得更多的推荐及关注者* R( z. G M2 s2 G
3 b! d6 x8 q' ]. ~+ q
5 g* O# G, w+ m3 g; B5 ^
& F8 R2 J& V0 s! t) H1 m [# _. {2 E$ _ S! N
# @4 r, L: T- ^7 U% m/ _0 J' I
8 @. V( t; g" G" `* [
0 c( C6 g! U! s* \6 O! J(3)数学题解答9 @5 l" L' [0 n. z- K. l3 i% [ }
DeepSeek-R1拥有卓越的数学运算能力,擅长解决各类数学难题。举例来说,在面对红蓝铅笔的采购问题时,它能够巧妙地构建方程组并迅速求解,精确计算出红铅笔与蓝铅笔的应购数量,为用户提供即时且准确的解决方案。不仅如此,DeepSeek-R1还附带了详尽的验证步骤,确保结果的准确无误。
Y! Z, H5 l4 ^
! i9 z5 t& q1 b: `' { I, @ $ k5 L, E+ C3 F2 F1 N: ]. C3 r
8 ^4 s6 i+ t3 u$ @ ?2 G4 ]) X: |[backcolor=var(--GBK09A)] & t$ k" Z) \, }, s
. p3 o0 O5 K' o* k4 G. l[color=var(--GBK99A)]上传视频封面 : a+ K2 z4 Q3 C
; r. [. g- u4 ` Q6 @- ^6 k3 r% V# m+ _9 H( O
, s* Y: h+ e- E4 A2 R6 a
/ T1 H3 [# \5 z/ X9 n9 }" w
c9 k0 I- R5 J9 @% s% P/ M% a3 n1 k6 D; k
[color=var(--GBK05A)]好的标题可以获得更多的推荐及关注者2 r' E, z" |9 z/ d+ D3 J
+ O- @$ t( r/ `/ y: U- U5 l1 K
* [' U! v; @4 z2 t) v4 M
# N" Z3 U3 @. u" _- A
: c, N7 Y1 N2 \( w& E
: L0 K% W6 y1 r- _1 y
. E# v5 v+ |7 R
* e) f I9 J- c/ @(4)编程任务
3 e2 k/ H4 r4 r: p6 c W. X- j8 eDeepSeek-R1在编程方面表现出色,能够根据用户需求编写代码。例如,针对OK3588-C开发板的串口通信需求,R1可以提供完整的C语言示例程序,包括串口初始化、数据接收和发送等功能,帮助用户实现串口通信。3 X, i$ H8 D1 p% c
) D1 k# p6 \& r: N" R/ A! m# o) A' u. F
8 I( X6 U5 \ Z: j& o+ Y
8 E6 v- p3 g! N8 q- t! D9 w[backcolor=var(--GBK09A)] 1 M" y+ y* _- n* ^, \4 [
w4 `% e8 [8 ^* L0 I
[color=var(--GBK99A)]上传视频封面
* |6 l- j1 Y9 S4 H! W/ D: Z) Q& v; \4 G# H" a5 z
; S; u7 ^; J( i$ H* Z- |% a
5 O1 ]( i5 l+ @# D; O
$ i) M) n+ }" [# M" s' i, T
# V( U) V" {/ z8 I1 p" y
* W9 e1 V f; E[color=var(--GBK05A)]好的标题可以获得更多的推荐及关注者 t1 J! k; x# e8 M
6 l/ g9 M1 o9 F1 w1 n1 z/ I, O4 \( p, k, \9 Q
% ^, H& R/ M6 j2 D2 E. l
( @+ _8 j! ?, r0 d" b; k* `( [9 P) d- P
# z2 ]% f0 J- h0 C7 M) `6 s- i) Z
: w) H7 X. C& ~% X& o从上述视频中不难发现,DeepSeek-R1在众多领域内彰显了其卓越的实用价值与高效性能,已然成为用户工作中不可或缺的智能伙伴。
8 t; t1 d9 O3 U. `
# @ e' w4 y& e6 S4 `三、性能测评
- g- J, b1 K) l8 w在完成移植后我们进行了全面的性能评测,以验证 DeepSeek-R1在OK3588-C开发板上的运行效果。经过详细的测试与对比,归纳了以下几个关键性能指标:实时性:从上文视频播放中可以看到,DeepSeek-R1输出的回答结果清晰且流畅,未出现任何延迟或卡顿现象。CPU占用:DeepSeek-R1在OK3588-C开发板上运行的CPU占用为12%~17%,这一表现证明了框架的高效性,使其即便在资源受限的设备上也能顺利运行,扩展了其应用场景和商业潜力。; e1 ^8 ~- D! T' {
/ k* D+ B, m: P4 T+ c2 Z- |# Z+ p( E( {) c# j: N* ~
( H( Z6 x9 A3 p% U, a, `
2 [# _: D2 q+ u7 c8 I/ t# ^- Q
[backcolor=rgba(0, 0, 0, 0.1)], w' r: y) s z# l
[backcolor=rgba(0, 0, 0, 0.1)]
6 L2 a& l! u4 y$ P. `# Z9 h$ o
% e1 M' _# I9 |. `5 W6 }. |
! B, E: t, o$ e l2 R! U) r" |: e# N8 K# Q( V7 F( l6 Z& ?. u+ {/ L8 h
- `' w% D* H+ B1 v
, O" n+ P8 U% ~' t5 V% z7 Y2 r: w" X; M* F# a
添加图片注释,不超过 140 字(可选)
. i0 o) b5 O E$ w6 T
& V) d6 E& n7 N( l' p) L) u' X+ |! U) o/ V
. Y; O& g% Q% V: W. P
7 W% j( w1 R% C
内存占用:在进行上述功能测试时,DeepSeek-R1的内存使用量约为825MB。这保证了系统的流畅运行,避免了由于内存不足引起的性能问题,使得用户的应用体验更加顺畅。
2 v9 E! H% D8 s5 m
5 i _5 p+ T/ _- L
* w- z3 ~( Z; l- u" ^5 x0 W+ n. z
& e: K$ g: @& R. F, ]9 k. E; G7 B3 F ?# X$ w: r
[backcolor=rgba(0, 0, 0, 0.1)]
4 W8 M) I- D" Z( g; M% s[backcolor=rgba(0, 0, 0, 0.1)]2 b$ y0 p$ T7 Z" L p" u/ A+ L
. W6 j1 r- y1 B) B C h: l
0 d/ q5 Q9 O% K7 u) D8 P
( g1 X. M& k( E+ s
" ~2 k& [3 I2 {/ O3 D
# j! U1 n! l2 L6 ]0 v1 d; u7 \4 x) h" P4 X1 r0 C: d" H/ t* Q4 @, f
添加图片注释,不超过 140 字(可选)
. g" c: ?, `3 D, G' K' V- r7 ?# g$ l* L
; B7 m+ P( v1 Y
! G( G1 c5 {( _! e; K. I6 e( E# ]% ^6 r) F9 s
NPU占用:由下图可见DeepSeek-R1在OK3588-C开发板上运行时,能够更高效地分配计算资源,其NPU(神经处理单元)的三个核心负载均达到了83%。" B6 D" e1 S, R8 o
1 | r z' D' b. S$ w7 b$ m; X7 m; } ]8 X
$ k0 c1 W% e- `. {1 V* S- M
; M' O m! p8 S; s: Y
[backcolor=rgba(0, 0, 0, 0.1)]
7 d, E4 S4 s3 W& y; |+ ][backcolor=rgba(0, 0, 0, 0.1)]4 T0 ]: v1 d3 J% s4 ~& x8 P
. R1 j. ~9 c3 F4 U& B/ I; {, J
3 D. [0 J. F/ Z. |% ]& E" N$ L- |- V, t X) @, l6 y
: w0 S% \" v- v) K6 i5 f
0 r8 l7 \7 E# Q% a7 v% V
6 j& `' t/ u8 O; Y, P0 q0 P2 @8 u添加图片注释,不超过 140 字(可选). A+ E0 P n9 z( \
" X9 L7 X+ @* y" [% j( G, c% E8 w
( R5 C4 Z1 D0 X* j/ F% X( X/ s" d. q. g
|
|