转——DSSD的研发车间

Taio

转——DSSD的研发车间

3 l; k/ t% ]' H# {/ t/ q
我们来看看一个老外对神秘的[url=]DSSD[/url]内部的参观，可以知道他们在干什么。

8 j; o. C8 I0 e+ C4 B首先，来猜一下什么是[url=]DSSD[/url]的产品：
1. 并不是传统的磁盘阵列，因为是用在Server上面的；
/ i+ E4 i1 B3 z% d2. 存储密度会非常高。性能和密度都会超出你的想象，因为它的目标是要当一个大内存使用，能跑内存数据库等。
7 Y! j& [' E$ {2 d3. 延迟会非常低。大概几十微秒，要知道NAND Flash MLC的写时间是毫秒级，读是几百微秒，所以DSSD肯定要用DRAM或者SLC做Cache层。

& W5 r" z7 C5 O7 Y: a; N9 T$ r再来猜一下DSSD的用途：
. M. u; b" O: x0 _1. 需要高频读写的数据存储。基于分布式文件系统，分布式意味着每个server都有数据存储，而不是存储阵列一样集中。
2. 需要高频读写的数据，同时有key-value存储，高性能计算，尤其是数据密集的高性能计算。
  ?* P; [  y8 ^& w$ c( y说白了，就是对大内存的要求。
8 i& N1 A$ K$ C* B5 B. l( a& Q
聊完技术，咱们就开始DSSD之旅了。
DSSD位于加州的Menlo Park，反正就是大牛们扎堆的硅谷了。
+ C  z% K4 @: v2 A
一栋老房子，新装修了一下。记者大清早过去，大家还忙忙碌碌的。大厅里面好多新员工，软件工程师、客户支持之类。今年五月的时候有160多名员工，而且还在快速增长。毕竟被收购了，有的是银子发工钱。

8 p; x4 Q6 S3 G. e4 I) R下面是个DSSD的早期原型机，O(∩_∩)O哈哈~ 很山寨，风扇，电源，网线，板子上的飞线，下面的板子上好像是4个插槽，紫色的应该是PCIe线缆，所以估计是PCIe接口，密集的PCIe接口确实很恐怖，最终会制造出怎样高的带宽呢？拭目以待~

2 K5 ~/ p/ K1 S) q8 v; C下面这台主机里面插了8块PCIe接口卡，从服务器的两个散热盒看有点像是NUMA架构的机器。一条线是PCIe Gen 3 x 4 Lane，8条的速度将近32GB/s。

PCIe接口卡的原型，它的作用就是把PCIe线缆接口转为主板上的PCIe插槽接口。

+ N  H1 }+ o. H' G$ G为了达到这么高的带宽和延迟，DSSD的Flash用了很多模组，如下图，你能想象里面有512个Flash Die（几个Die可以封装成一个芯片）并行工作吗？要知道一般的消费级SSD里面只有4到8个数据通道，DSSD这个模组里面估计至少有几十个通道。
! Y4 c! o9 i" c! [8 V$ t% L+ R
0 A* }0 V+ O; z9 X; M打开看看里面的电路板，有很多Flash，SRAM作为Cache（没用DRAM，好奢侈），还有DSSD自己的控制器，外壳上涂了散热胶。整体功耗45-60W，其实还挺高的。从右往左详细看看：
1. 最右边是接口，像是PCIe。
2. SRAM做Cache。
3. 控制器芯片，在背面。
4. 一大波Flash。
5. 有点像是锂电池，估计是来做掉电保护的。
. M. k& V8 E6 h$ \$ I
来看看DSSD的整体，它是个5U的机箱，功耗是2000W，所以散热很重要。可以看到上下都有一堆风扇，这要是都转起来，声音可是震耳欲聋啊。
* k& c$ h3 l% k( G" `
( O5 V* K& j: M" `8 V1 {3 S散热的设计其实是很复杂的，有点像是混沌，一个很小的因素可能导致很大的不可预期的结果。DSSD的团队非常专业，用3D打印来制造原型，做实验并不断修改。下图是他们的Makerbots 3D打印机。

, c8 w  K9 N+ a


( x9 p+ `& y; y" o/ i8 [7 x会议室旁边就是测试机房。
: a8 L# F; y. U& b
这台5U的DSSD连到了48个主机上，里面每个白色的就是1个之前看到的Flash模组，可见容量和性能有多大。我数了一下，有36块！！可以想象最终的性能和容量了。中间那个白色的是DSSD，上下都是测试的主机。
% _  l/ m' F1 Z8 G# U" x! _
% T* d1 A; z' Q3 M8 K
$ U& n9 p* t( D- U" S# W

看看后面，可怕的PCIe线缆。。。。每台主机都连了冗余的PCIe线缆。下图是DSSD的背后，一堆PCIe线。
# P# P$ Q. _: Q/ W$ ^/ ]7 D' \. e
1 J$ g- y, c3 }+ Q8 l
' W& |" E+ J) _2 f; c( V, P' X  w

2 i5 _8 {9 d$ h# ^3 f0 G3 R
* ?1 V2 S, f4 x! n3 `8 W其实这栋楼以前就是Sun当年风光无限的时候持有的，所以DSSD的很多员工可能又回到了当年的地盘。

1 j; R; f, |8 r7 `! d

2013年做的PCIe Switch原型板。

; H1 C1 d4 V1 S: z; k- C+ V# L
0 A+ s! K/ `% M2 N6 S
再来回顾一下DSSD的软硬件特点：

: m' W9 }5 r0 i4 W" ^! ?1． 硬件：接近DRAM的延迟，超高存储密度，高IOPS，高带宽；

4 s/ z2 m; \) S: {& s) h' `2. 软件：支持Key-Value存储 API，MEMCacheD，交易型分布式文件系统。
* ?8 d# |% @/ R9 X% j( N  [

yxlk

看上去很高大上啊