|
|
EDA365欢迎您登录！
您需要 登录 才可以下载或查看，没有帐号？注册
x
本期我们将为大家讲解YoC的KV组件，通过KV组件的简介、设计概述、主要原理描述以及示例四部分内容，带大家全面了解该组件。
8 z7 A# y2 A9 B1 c- l/ p* m& z5 P! ^7 o! C
1、介绍) T7 |3 u5 f J* k
KV是基于Nor Flash的一种Key-Value 数据存储系统，该系统采用极小的代码及内存开销（最小资源 rom：3K bytes，ram：100bytes），在小规模的Nor Flash上实现数据的存储管理能力，支持断电保护、磨损均衡、坏块处理等功能，并提供标准的aos kv接口进行访问。
( Z o$ j! h5 c# b; J% lKV 存储系统支持只读模式与读写模式共存，只读模式可以用于工厂生产数据，读写模式可用于运行时的数据存储。* W2 ~" l+ m- o$ M1 `* X
7 F7 {# Q; b# a: z; ~9 q$ l8 d$ g; P
2、设计概述# R' E6 F, \+ ]
2.1 数据格式; f( A) q2 ^: K
为了简化设计，降低复杂性，减少代码规模及内存开销，又考虑到只读KV与读写KV的兼容性，KV系统未采用传统KV系统或文件系统中采用的HEAD描述结构，采用的链式遍历方式设计。
" V' w7 n$ {& _4 S根据FLASH 的特点，以block 为单位，每一个block 都是一个独立的存储单元，限制一个KV必须存储在一个block上。+ E! p, ]$ ?, }/ f" y2 [, p
KV格式：; W! y' u- {& D' |. S
只读：=\n; Q# K" {8 P" _2 x9 n
读写：<key><\0><size_lo><size_hi><version>=<value><size_hi><erase_flag>" k, p3 c9 L* j& ~( T
字段具体说明：
) L5 x2 q$ U3 ]* q) B) U( A; z| 字段 | 空间（Byte） | 说明 | | KEY | n | 用户传入的key，由字母、数字等可打印字符组成 | | 0位 | 1 | 数值0的特殊值，紧跟在KEY后，是检索的关键标记值 | | SIZE_LO/SIZE_HI | 2 | 占两个字节，保存KEY的长度与Value的长度，Value占高10位，KEY占低6位（允许最大KEY长度为63字节，Value理论长度为1023，但由到block 的大小限制，最大长度不得超出block）SIZE_LO为value 长度的低8位，SIZE_HI 的低2位为value 长度的高2位 | | Version | 1 | 版本，用于保存KEY被修改的次数，当一个KV被多次修改时，Version最累加，累加到255时掉头为1；该字符用于保证KV修改的有效性，在写入时断电可能会造成KV的重复，采用最新版本的KV为有效KV，删除历史版本的KV； | | 等号位 | 1 | 即字符”c”，占位及检索标记位，用于识别有效KV | | Value | n | 用户传入的value值，长度由实际Value 长度决定，受block 及 key 长度限制 | | SIZE_HI | / | 保存上述SIZE_HI 数据，该位用于校检KV的有效性 | | Erase flag | 4 | KV删除标记位，由四个字节组成，非0时为有效KV，为0时，表示该KV已被删除 |
! J* u9 X( ?: k
2 g5 V: B3 ]- f/ z6 q; z2.2 重点功能设计概述
7 e S9 S! U& A6 W3 c* V2.2.1 断电保护
: B* C; `( a/ w* m# {3 \" J7 J断电保护的设计是为了在修改KV时，能保证KV不会被破坏的事务处理机制，即要写入失败，要么写入成功，对于已经存的KV，写失败后，KV的值仍然为旧值。对于不存在的KV，写失败后，KV不存在。/ A6 y4 y- t7 W0 Y8 I, T
. h+ a+ u! A- {8 |1 d2 K2.2.2 磨损均衡% d: d, k, @& y
在通常的应用中，部分KV被经常修改，由于FLASH物理特性，擦写的次数有一定的限制，擦写次数超过次数时，该块会损坏不能使用。磨损均衡的设计是将KV的写入分散到多 block上，避免存储在固定的位置上，达到磨损均衡的效果。磨损均衡主要依赖以下两个策略来实现：3 ^% m$ j; g) p! j- Y
异地更新策略 Key-Value键值对采用顺序写入、异地更新的方式，即不再在原存储位置擦除重写，而是在其余空闲位置写入新键值并将原键值标记无效等待回收。这样既可以减少flash的擦除操作次数，又可以提高flash的空间利用率，也避免了对“特定”存储区块过度使用的问题。
( I$ G5 E2 a7 Y; F% [0 ], c垃圾回收策略 当free block总数接近gc下限时，会触发gc操作。flash数据在gc前，存在有效键值和无效键值交织的情况；gc后，把有效文件数据归并到free block，原区域则被擦除并置入free block。gc循环向后搬运键值。 4 U% t) m4 t/ B+ w$ n
4 e1 G9 E5 m6 n! s! Z2.2.3 坏块处理
]$ @3 \7 \ R8 L" Y: \+ wNor flash有一定的擦写次数限制，如果达到这个限制，或者由于物理方面的损坏，会导致这些block写入有问题。KV系统采用直接片上链式读取，擦除与写入时校验数据正确性，不采用特殊的标识信息来处理坏块，当block 擦除失败或者写失败后，会重新申请新的数据块，避免坏块被错误使用。
3 ~! X' _& f+ }8 ~; Q- A$ ?# V: t: a. U) l
3、主要原理描述
8 c) C% n' A) A3 \/ ]3.1 关键过程处理流程% n/ k. Z) T! f: u0 [
格式化9 A7 M! ^: ]- N
将所有块擦除后，若擦除失败则置为坏块。; J' F) d; F( Q6 }- q
! @- F( l2 C5 A$ x% I& I初始化; V$ o- M3 H2 L9 v4 h/ ]4 ~/ E
遍历整个系统，统计每个block 上KV的个数、占用空间、可用位置，删除KV的数量，清理无效的KV，回收无用的block，若cache功能打开，则还会将所有key信息存入cache中。
$ L5 Y) @" B( O( ?) B2 }8 {
9 ~9 [' x3 Q! B7 [$ v写键值
1 Z1 p- E& @5 a- @3.1 查找系统中是否已存在该键值+ M2 d( \/ j9 ]. h+ D) a+ v
3.2 分配新的kvnode，计算版本号、长度，将kvnode 写入block" M; s' p" Z/ S/ C( f! M0 y. A7 G
3.3 删除已存在的键值- `" L8 Y9 x9 V
2 W- L8 S* E# s* A. p读取及删除键值3 z: ]2 G$ g8 J1 N# o) ^
4.1 查找系统中是否已存在该键值" ]1 C+ U% t% Q6 E; N
4.2 读取或删除已存在的键值+ s* g: |$ O8 T* V' t
! L4 i- J( c" G5 }
( x& @' Y' I6 p1 P |
|
[复制链接]
/1 
发表于 2022-6-9 09:37
收藏
淘帖
支持！
反对！
