转——DSSD的研发车间

Taio

转——DSSD的研发车间

& [' ?( w( G1 F4 m7 N& t
7 y' I  p: t) [$ \: J4 J3 h我们来看看一个老外对神秘的[url=]DSSD[/url]内部的参观，可以知道他们在干什么。

首先，来猜一下什么是[url=]DSSD[/url]的产品：
1. 并不是传统的磁盘阵列，因为是用在Server上面的；
  J1 w5 k0 Y& L* L& d4 t2. 存储密度会非常高。性能和密度都会超出你的想象，因为它的目标是要当一个大内存使用，能跑内存数据库等。
  ~3 ^, H, Q9 H) J( ^: x3. 延迟会非常低。大概几十微秒，要知道NAND Flash MLC的写时间是毫秒级，读是几百微秒，所以DSSD肯定要用DRAM或者SLC做Cache层。

再来猜一下DSSD的用途：
1. 需要高频读写的数据存储。基于分布式文件系统，分布式意味着每个server都有数据存储，而不是存储阵列一样集中。
2. 需要高频读写的数据，同时有key-value存储，高性能计算，尤其是数据密集的高性能计算。
说白了，就是对大内存的要求。

" h5 m- _6 y8 V! g, O5 m; ^7 s聊完技术，咱们就开始DSSD之旅了。
DSSD位于加州的Menlo Park，反正就是大牛们扎堆的硅谷了。

% \5 W6 i+ B( d, V4 @( n8 H+ J一栋老房子，新装修了一下。记者大清早过去，大家还忙忙碌碌的。大厅里面好多新员工，软件工程师、客户支持之类。今年五月的时候有160多名员工，而且还在快速增长。毕竟被收购了，有的是银子发工钱。

下面是个DSSD的早期原型机，O(∩_∩)O哈哈~ 很山寨，风扇，电源，网线，板子上的飞线，下面的板子上好像是4个插槽，紫色的应该是PCIe线缆，所以估计是PCIe接口，密集的PCIe接口确实很恐怖，最终会制造出怎样高的带宽呢？拭目以待~

  Y" L3 _! w6 @" @' i下面这台主机里面插了8块PCIe接口卡，从服务器的两个散热盒看有点像是NUMA架构的机器。一条线是PCIe Gen 3 x 4 Lane，8条的速度将近32GB/s。

PCIe接口卡的原型，它的作用就是把PCIe线缆接口转为主板上的PCIe插槽接口。
/ R' v6 M% {% _+ h* C$ f
; ?5 L9 W/ t6 E" @( Y5 }为了达到这么高的带宽和延迟，DSSD的Flash用了很多模组，如下图，你能想象里面有512个Flash Die（几个Die可以封装成一个芯片）并行工作吗？要知道一般的消费级SSD里面只有4到8个数据通道，DSSD这个模组里面估计至少有几十个通道。

打开看看里面的电路板，有很多Flash，SRAM作为Cache（没用DRAM，好奢侈），还有DSSD自己的控制器，外壳上涂了散热胶。整体功耗45-60W，其实还挺高的。从右往左详细看看：
2 _. N1 U5 D( Q3 x! R4 R1. 最右边是接口，像是PCIe。
2. SRAM做Cache。
% g4 ?0 O6 e! \, _' R- A1 F; a) c3. 控制器芯片，在背面。
0 t: U2 {; ?4 U3 p# n4. 一大波Flash。
6 E( ?) k4 A5 ~2 |( U5 ~5. 有点像是锂电池，估计是来做掉电保护的。

" `7 d& W, y# U2 `4 i5 U4 V' t来看看DSSD的整体，它是个5U的机箱，功耗是2000W，所以散热很重要。可以看到上下都有一堆风扇，这要是都转起来，声音可是震耳欲聋啊。
+ w+ H  Z# p& B- U4 l5 T
( m. `( h) G( Q3 Z散热的设计其实是很复杂的，有点像是混沌，一个很小的因素可能导致很大的不可预期的结果。DSSD的团队非常专业，用3D打印来制造原型，做实验并不断修改。下图是他们的Makerbots 3D打印机。
- c/ g5 e( `' S3 X3 o


7 J: ?$ R% B! a2 C1 P
3 C, u2 t0 a3 L7 G$ H; Y+ b' C会议室旁边就是测试机房。
; z# d8 p/ L, b* b% c2 w
这台5U的DSSD连到了48个主机上，里面每个白色的就是1个之前看到的Flash模组，可见容量和性能有多大。我数了一下，有36块！！可以想象最终的性能和容量了。中间那个白色的是DSSD，上下都是测试的主机。
& C: A9 o: c& P' V. B8 i. e% C, B
/ E: j$ T) c/ k: {! \& k
- f- Q! ?2 x$ r! R0 S
# f* @) L% u; |
" g$ z6 z& P, f! }% l8 T. v& S看看后面，可怕的PCIe线缆。。。。每台主机都连了冗余的PCIe线缆。下图是DSSD的背后，一堆PCIe线。
: O% C# _% ]/ x$ Z* x
( N% X% [# [$ k1 G  }" j4 F



其实这栋楼以前就是Sun当年风光无限的时候持有的，所以DSSD的很多员工可能又回到了当年的地盘。
0 M# @/ K  Q" G* P, U% x! X! L
( t* C" D. Y$ m, E) a0 t

$ O6 H* w* H0 t4 a# e6 Y* S, b2013年做的PCIe Switch原型板。

, r% m5 z  Z* G1 K) f, C& }0 j
" F6 N( P7 I4 I
& g. F' t3 e$ @+ ^1 l) F: U/ X再来回顾一下DSSD的软硬件特点：

# r- ~3 v% M  }7 i; b3 y& s1． 硬件：接近DRAM的延迟，超高存储密度，高IOPS，高带宽；
5 }" V+ r0 ]# \, {3 Z
' ~8 x6 L8 J7 S: e) C2. 软件：支持Key-Value存储 API，MEMCacheD，交易型分布式文件系统。
% M3 F* }# [1 F

yxlk

看上去很高大上啊