HDFS小文件处理解决方案总结+facebook(HayStack) + 淘宝(TFS)
2015-12-14 13:22:11 点击:

一、概述手机图片或者像淘宝这样的网站中的产品图片特点:(1)、大量手机用户同时在线,执行上传、下载、read等图片操作(2)、文件数量较

护Block信息列表,以及Block与!DataServer之间的映射关系,其存储的元数据结构如下:

HDFS小文件处理解决方案总结+facebook(HayStack) + 淘宝(TFS)

八、一种提高云存储小文件效率的解决方案

http://www.chinacloud.cn/show.aspx?&id=8105&cid=30

(美国西北太平洋国家实验室2007年的一份研究报告表明,他们系统中有1 200万个文件,其中94%的文件小于64 MB,58%的小于64 kB。在一些具体的科研计算环境中,也存在大量的小文件,例如,在某些生物学计算中可能会产生3 000万个文件,而其平均大小只有190 kB。)

HDFS小文件处理解决方案总结+facebook(HayStack) + 淘宝(TFS)

系统为每个用户建立了3种队列:

序列文件队列(SequenceFile queue,SFQ),

序列文件操作队列(SequenceFile operation queue,SFOQ),

备用队列(Backup queue,BQ)。

其中,SFQ用于小文件的合并,SFOQ用于对合并后小文件的操作,BQ用于操作的小文件数超过SFQ或SFOQ长度的情况。

HDFS小文件处理解决方案总结+facebook(HayStack) + 淘宝(TFS)


相关热词搜索:HDFS tfs

上一篇:TFS:淘宝自主研发的文件系统
下一篇:分析分布式文件系统MooseFS架构(基于HDFS架构思想)