分布式文件系统 FastDFS

摘要: FastDFS是一个开源的分布式文件系统,她对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决 2015-12-31 23:12:52   · 阅读全文
 

moosefs角色使用说明

摘要:mfs各元素主要配置文件master主服务器Metadata is stored in memory of the managing server and simultaneously is being sa 2015-12-23 11:53:29   · 阅读全文
 

MFS灾难测试及恢复

摘要:1、client 机器无论怎样操作都不会影响master。客户端强制kill -9杀掉mfsmount进程,需要先umount,然后再mount。否则会提示:fuse: bad 2015-12-23 09:17:32   · 阅读全文
 

大型分布式文件系统moosefs安装配置指南

摘要:一,安装环境安装常用库yum -y install gcc zlib-devel zlib fuse fuse-devel fuse-libs ntp下载,解压mfs :wget http: mirror 2015-12-20 18:27:58   · 阅读全文
 

MooseFS介绍

摘要: 最近了解了一个分布式文件系统——MooseFS,之前对分布式的东西知道的很少,分布式文件系统、分布式数据库都是近而远之,觉得太复杂 2015-12-14 16:27:36   · 阅读全文
 

分析分布式文件系统MooseFS架构(基于HDFS架构思想)

摘要: 由于工作关系,以前测试过moosefs分布式文件系统,最近在学习hadoop,发现moosefs的文件系统的架构和hdfs竟然很相似,估计编写moos 2015-12-14 15:24:42   · 阅读全文
 

HDFS小文件处理解决方案总结+facebook(HayStack) + 淘宝(TFS)

摘要:一、概述手机图片或者像淘宝这样的网站中的产品图片特点:(1)、大量手机用户同时在线,执行上传、下载、read等图片操作(2)、文件数量较 2015-12-14 13:22:11   · 阅读全文
 

TFS:淘宝自主研发的文件系统

摘要: 目前,国内自主研发的文件系统可谓凤毛麟角。淘宝在这一领域做了有效的探索和实践,Taobao File System(TFS)作为淘宝内部使用...2014-06-18 16:21:24   · 阅读全文
 

使用软Raid 发挥多块SSD硬盘的性能并提升数据安全性

摘要:磁盘IO的瓶颈已经很多年了,随着SSD硬盘技术日益成熟、成本的逐步下降,越来越多公司开始在服务器上使用SSD硬盘。自打去年给笔记本加了一块...2014-06-17 23:31:20   · 阅读全文
 

RAID那些事

摘要: 独立硬盘冗余阵列(RAID,RedundantArray ofIndependentDisks),旧称廉价磁盘冗余阵列,简称硬盘阵列。其基本思想就是把多个相对便宜...2014-06-06 22:34:48   · 阅读全文
 

RAID解决方案和RAID的各种优点

摘要:在向大家详细介绍RAID解决方案之前,首先让大家了解下RAID优点,然后全面介绍RAID解决方案,希望对大家有用。RAID的形式是多种多样的,它们...2014-06-06 22:28:15   · 阅读全文
 

海量小文件存储

摘要:[转自:http://www.fuchaoqun.com/2009/04/deal-with-tons-of-small-files/]Web2.0网站,数据内容以几何级数增长,尤其是那些小文件,几K~...2014-06-06 10:14:34   · 阅读全文
 

海量小文件存储利器Mogilefs

摘要:数据存储的趋势和大数据带来的挑战分布式存储与CAP定理分布式存...2014-05-30 08:42:08   · 阅读全文
 

小文件存储的方案对比:nginx、Redis、Moosefs

摘要:大量小文件存储一直是典型的应用场景之一,下面是一篇转载文章,对大量小文件存储分别采用Nginx+NFS、Redis和分布式文件系统Moosefs三种方...2014-05-30 08:34:56   · 阅读全文
 

TFS 淘宝网文件系统的探索

摘要:下午,在IT168系统架构师大会存储与系统架构分论坛上,淘宝网技术委员会主席,淘宝网核心工程师章文嵩向我们详细介绍了淘宝网图片处理与存储系...2014-03-28 10:18:28   · 阅读全文
 

GFS, HDFS, Blob File System架构对比

摘要: 分布式文件系统很多,包括GFS,HDFS,淘宝开源的TFS,Tencent用于相册存储的TFS (Tencent FS,为了便于区别,后续称为QFS),以及Facebo...2014-03-03 13:47:59   · 阅读全文
 

浅议DAS、NAS、SAN三种模式

摘要: 目前磁盘存储市场上,存储分类(如下表一)根据服务器类型分为:封闭系统的存储和开放系统的存储,封闭系统主要指大型机,AS400...2014-01-04 15:41:28   · 阅读全文
 

大型网站的存储

摘要:本文主要论述一下常用的存储产品和技术。1.1 存储存储设备是网站后台架构中,最底层的部分。也是最重要的部分。因为一旦存储设备出现问题...2014-01-04 15:22:17   · 阅读全文
 

Linux下DRBD配置

摘要:一、drbd工作原理 DRBD是一种块设备,可以被用于高可用(HA)之中.它类似于一个网络RAID-1功能.当你将数据写入本地 文件系统时,数据还将会被...2014-01-03 15:06:47   · 阅读全文
 

Rsync使用注意事项

摘要:近期在做的一个项目会用到rsync推送小文件,一开始使用时发现效率并不高,并且如果推送进程过多会导致目的机load飚升、iowait增多,rsync是...2013-12-16 17:42:26   · 阅读全文