首页 > 文件存储 > 列表
 

TFS:淘宝自主研发的文件系统

摘要: 目前,国内自主研发的文件系统可谓凤毛麟角。淘宝在这一领域做了有效的探索和实践,Taobao File System(TFS)作为淘宝内部使用...2014-06-18 16:21:24   · 阅读全文
 

使用软Raid 发挥多块SSD硬盘的性能并提升数据安全性

摘要:磁盘IO的瓶颈已经很多年了,随着SSD硬盘技术日益成熟、成本的逐步下降,越来越多公司开始在服务器上使用SSD硬盘。自打去年给笔记本加了一块...2014-06-17 23:31:20   · 阅读全文
 

RAID那些事

摘要: 独立硬盘冗余阵列(RAID,RedundantArray ofIndependentDisks),旧称廉价磁盘冗余阵列,简称硬盘阵列。其基本思想就是把多个相对便宜...2014-06-06 22:34:48   · 阅读全文
 

RAID解决方案和RAID的各种优点

摘要:在向大家详细介绍RAID解决方案之前,首先让大家了解下RAID优点,然后全面介绍RAID解决方案,希望对大家有用。RAID的形式是多种多样的,它们...2014-06-06 22:28:15   · 阅读全文
 

海量小文件存储

摘要:[转自:http://www.fuchaoqun.com/2009/04/deal-with-tons-of-small-files/]Web2.0网站,数据内容以几何级数增长,尤其是那些小文件,几K~...2014-06-06 10:14:34   · 阅读全文
 

海量小文件存储利器Mogilefs

摘要:数据存储的趋势和大数据带来的挑战分布式存储与CAP定理分布式存...2014-05-30 08:42:08   · 阅读全文
 

小文件存储的方案对比:nginx、Redis、Moosefs

摘要:大量小文件存储一直是典型的应用场景之一,下面是一篇转载文章,对大量小文件存储分别采用Nginx+NFS、Redis和分布式文件系统Moosefs三种方...2014-05-30 08:34:56   · 阅读全文
 

TFS 淘宝网文件系统的探索

摘要:下午,在IT168系统架构师大会存储与系统架构分论坛上,淘宝网技术委员会主席,淘宝网核心工程师章文嵩向我们详细介绍了淘宝网图片处理与存储系...2014-03-28 10:18:28   · 阅读全文
 

GFS, HDFS, Blob File System架构对比

摘要: 分布式文件系统很多,包括GFS,HDFS,淘宝开源的TFS,Tencent用于相册存储的TFS (Tencent FS,为了便于区别,后续称为QFS),以及Facebo...2014-03-03 13:47:59   · 阅读全文
 

mysql+drbd+heartbeat实现高可用性

摘要:1,什么是DRBDDRBD(Distributed Replicated Block Device),DRBD 号称是 "网络 RAID",开源软件,由 LINBIT 公司开发。2,DRBD的主...2014-01-27 14:18:48   · 阅读全文
 

浅议DAS、NAS、SAN三种模式

摘要: 目前磁盘存储市场上,存储分类(如下表一)根据服务器类型分为:封闭系统的存储和开放系统的存储,封闭系统主要指大型机,AS400...2014-01-04 15:41:28   · 阅读全文
 

大型网站的存储

摘要:本文主要论述一下常用的存储产品和技术。1.1 存储存储设备是网站后台架构中,最底层的部分。也是最重要的部分。因为一旦存储设备出现问题...2014-01-04 15:22:17   · 阅读全文
 

Linux下DRBD配置

摘要:一、drbd工作原理 DRBD是一种块设备,可以被用于高可用(HA)之中.它类似于一个网络RAID-1功能.当你将数据写入本地 文件系统时,数据还将会被...2014-01-03 15:06:47   · 阅读全文
 

Rsync使用注意事项

摘要:近期在做的一个项目会用到rsync推送小文件,一开始使用时发现效率并不高,并且如果推送进程过多会导致目的机load飚升、iowait增多,rsync是...2013-12-16 17:42:26   · 阅读全文
 

rsync手动部署

摘要:更新线上应用的时候,如果手动部署容易出错和遗漏,这里使用Linux自带的rsync功能,当应用在测试机测试ok,自动同步到正式机。 这里我们把...2013-10-30 16:51:14   · 阅读全文
 

利用rsync实现数据远程容灾备份

摘要: rsync是Linux系统下的数据镜像备份工具,通过rsync可以将本地系统数据通过网络备份到任何远程主机上,rsync有如下特性: 可以镜像保存整...2013-10-24 14:46:32   · 阅读全文
 

双向实时远程同步文件(inotify+rsync与nfs)

摘要: 项目中遇到两台机子上文件需要实时同步的情况,尝试了下面两种方法:项目要求:A机(190)与B机(217)要求一个文件夹内容同对方一致,A机与B...2013-10-05 11:48:19   · 阅读全文
 

nfs搭建 centos 6.x

摘要:1、NFS的安装需要的软件包;需要nfs-utils和rpcbind;2、使用如下命令查找系统是否已安装如上的软件包;  rpm –qa|grep nfs  r...2013-09-22 11:47:53   · 阅读全文
 

varnish,memcache,rsync+inotify配置

摘要:一,同步1,Rsync篇:yum install rsynctar zxvf rsync-3.0.7.tar.gz cd rsync-3.0.7 ./configure --prefix=/usr/local/rsync &...2013-09-12 17:10:44   · 阅读全文
 

linux rsync设置之我所见

摘要:本地shell 应用模式远程shell查询,列表模式服务器模式服务端rsyncd.confuid = nobodygid = nobodyuse chroot= nomax connections...2013-08-21 10:26:48   · 阅读全文