Flat DataCenter Storage之系统分析

一月 4th, 2013 by klose | No Comments | Filed in 海量数据存储与处理

OSDI-2012公布的Google Spanner吸引了无数人的眼球,在人们争相研究Spanner是否会像GFS(Google File System)、MapReduce等引领下一个大数据技术时代时,微软同样给出自己的一个回答,那就是Flat DataCenter Storage。 下文以FDS来代替Flat DataCenter Storage。 微软在Hadoop时代的笼罩下,提出FDS的需求来自哪里、它的特殊之处在哪、以及它背后的设计架构与原理等,本文就一一作答。 FDS是什么? FDS是一个支持容错、对本地性不敏感、高性能的大规模blob数据存储。 使用的策略有: Using a novel combination of full bisection bandwidth networks, data and metadata striping, and flow control FDS对一个大规模的应用实现底层磁盘IO通道的多路复用 FDS做了很多优化的工作,使得数据本地性对于一个应用的性能不再那么敏感。 磁盘与磁盘之间可以实

Tags: , ,