distributedfilesystemMFS(moosefs)Implementation()
Author:([email protected])
User,Implementation、cluster（lvs+keepalived），UserFeedbackproblem。server，problemshared storageserverNFS。networkEnvironment，Nservernfsserver，NFSserver。systemLog，nfsservicetimeout。，nfsclient，NFSPerformanceproblem；NFSserver，，。clusternfsSchematic Diagram：
ArchitecturePerformanceproblem，single point of failure，NFSserverfault，data，rsyncsynchronizedataAdditionallyservernfsserviceBackup，systemPerformanceHelp。，nfsserverOptimizationsolution，OptimizationclientPerformance，Thereforesolution；，distributedfilesystem。distributedfilesystem，serverdata（1NFSserver，NFSclient），，，Performanceproblem。
Currently，distributedfilesystemsolution，lustre,hadoop,Pnfs。PVFS,hadoop,moosefs，lustre、KFStechnology，Finallymoosefs（MFS）distributedfilesystemshared storageserver。？：
1、 。MFSInstallation、、Configurationtool，。lustre 700pdf，。
2、 service。MFS，server；service。：hadoopImplementationFunctions。
3、 Restoreservice。MFShigh availability，Restoreservice，1。
4、 Help，。
MFS（）
★ reliability（data）
★ disk
★ SettingsDeletefile
|
[root@mysql-bk serydir]# mfsgettrashtime bind-9.4.0.tar.gz
bind-9.4.0.tar.gz: 600
|
fileDelete10（600），Deletefile，disk。
★ fileCreate
MFSfilesystem
1、 dataserver。ManagementManagementfilesystem，CurrentlyMFSdataservermaster，single point of failure，Performanceserver。MFSmasterserver，systemreliability。
2、 dataLogserver。BackupmasterserverLogfile，filechangelog_ml.*.mfs。dataserverdata，LogserverfileRestore。
3、 dataserverchunkserver。Userdataserver。file，Firstfile，Thendataserverchunkserverreplication（replication，Settings3）。dataserver，，“disk”，reliability。
4、 client。MFSfilesystemMFSclient，successMFSfilesystem，NFS。
dataserverInstallationConfiguration
dataserverlinux,unix,operating system,Environment,freebsdMFSdataplatform。GNU，unixplatformInstallation。
（） Installationdataservice
1、DownloadGNU
wget http://ncu.dl.sourceforge.net/project/moosefs/moosefs/1.6.11/mfs-1.6.11.tar.gz
2、 tar zxvf mfs-1.6.11.tar.gz
3、directory cd mfs-1.6.11
4、CreateUser useradd mfs –s /sbin/nologin
5、Configuration ./configure –prefix=/usr/local/mfs –with-default-user=mfs –with-default-group=mfs
6、CompilationInstallation make ; make install
（） Configurationdataservice
dataserverconfiguration fileInstallationdirectory/usr/local/mfs/etc。mfs-1.5.12version：mfs-1.6.xInstallationfile，mfsmaster.cfg.dist。mfs master，configuration filemfsmaster.cfgmfsexports.cfg,configuration file，file（mfsclient）。
（1）configuration filemfsmaster.cfg,file，configuration file/usr/local/mfs/etc/mfsmaster.cfg，：
|
# WORKING_USER = mfs
# WORKING_GROUP = mfs
# SYSLOG_IDENT = mfsmaster
# LOCK_MEMORY = 0
# NICE_LEVEL = -19
# EXPORTS_FILENAME = /usr/local/mfs/etc/mfsexports.cfg
# DATA_PATH = /usr/local/mfs/var/mfs
# BACK_LOGS = 50
# REPLICATIONS_DELAY_INIT = 300
# REPLICATIONS_DELAY_DISCONNECT = 3600
# MATOML_LISTEN_HOST = *
# MATOML_LISTEN_PORT = 9419
# MATOCS_LISTEN_HOST = *
# MATOCS_LISTEN_PORT = 9420
# MATOCU_LISTEN_HOST = *
# MATOCU_LISTEN_PORT = 9421
# CHUNKS_LOOP_TIME = 300
# CHUNKS_DEL_LIMIT = 100
# CHUNKS_WRITE_REP_LIMIT = 1
# CHUNKS_READ_REP_LIMIT = 5
# REJECT_OLD_CLIENTS = 0
# deprecated, to be removed in MooseFS 1.7
# LOCK_FILE = /var/run/mfs/mfsmaster.lock
|
，configuration filedefault，，，Then。Description。
◆ EXPORTS_FILENAME = /usr/local/mfs/etc/mfsexports.cfg file。
◆ DATA_PATH = /usr/local/mfs/var/mfs datapath，datapath。data？directory，3file：
filedataserverdirectory。
◆ MATOCS_LISTEN_PORT = 9420 MATOCS–master to chunkserver，dataserver9420portdataserverchunkserverconnection。
◆ MATOML_LISTEN_PORT = 9419 MATOML—master to metalogger，BackupdataserverLog。：Mfs-1.5.12version。
◆ MATOCU_LISTEN_PORT = 9421 dataserver9421port，clientMFS（clientmfsmountMFS）
◆ 。，。
configuration file，。
（2）configuration file/usr/local/mfs/etc/mfsexports.cfg,filereplication。file，CategoryNFSserverexportsfile．Configuration，filedefault．mfsexports.cfgfile：
|
192.168.93.0/24 / rw
|
（3）replicationfile
cp /usr/local/mfs/var/mfs/metadata.mfs.empty /usr/local/mfs/var/mfs/metadata.mfs
8file，mfs-1.6.x。
（） dataservermasterStart
dataserverStart，dataserver（chunkserver），ThereforeInstallationConfigurationMFS，Start。command /usr/local/mfs/sbin/mfsmaster start ，If，databaseserverprocess。3checkMFS master：
1、 checkprocess
2、 checknetwork
3、 checksystemLog
MFSLogsystemLog。dataserver（chunkserver）dataserver（chunkserver）fault，systemLog。Note: ，LogdataLog。
（）、Disabledataserver
Disabledataserver， /usr/local/mfs/sbin/mfsmaster –s ，Ifkillprocess，Startfile，Startserver。。，If， mfsmetastore Restore。
dataLogserverInstallationConfiguration
dataLogservicemfs 1.6versionservice，dataLogdataserver，。reliability，。Note: ，dataLogprocessdataserver（master）server，BackupdataLogserverclient，dataserverLogfileBackup。
()InstallationdataLogservermetalogger
1、DownloadGNU
wget http://ncu.dl.sourceforge.net/project/moosefs/moosefs/1.6.11/mfs-1.6.11.tar.gz
2、 tar zxvf mfs-1.6.11.tar.gz
3、directory cd mfs-1.6.11
4、CreateUser useradd mfs –s /sbin/nologin
5、Configuration ./configure –prefix=/usr/local/mfs –with-default-user=mfs –with-default-group=mfs
6、CompilationInstallation make ; make install
（）dataLogservice（metalogger）Configuration
serviceconfiguration file，filereplication，Then，metalogger configuration file：
|
[root@hynfs-2 etc]# more mfsmetalogger.cfg
# WORKING_USER = mfs
# WORKING_GROUP = mfs
# SYSLOG_IDENT = mfsmetalogger
# LOCK_MEMORY = 0
# NICE_LEVEL = -19
# DATA_PATH = /usr/local/mfs/var/mfs
# BACK_LOGS = 50
# META_DOWNLOAD_FREQ = 24
# MASTER_RECONNECTION_DELAY = 5
MASTER_HOST = 192.168.93.18
MASTER_PORT = 9419
# MASTER_TIMEOUT = 60
# deprecated, to be removed in MooseFS 1.7
# LOCK_FILE = /var/run/mfs/mfsmetalogger.lock
|
configuration file，MASTER_HOST，dataserverｉｐAddress。Additionally，，configuration fileDescription：
（１）SYSLOG_IDENT = mfsmetalogger dataLogservice，systemLog，systemLog：
（２）DATA_PATH = /usr/local/mfs/var/mfs dataserver(master)file，Thenpath。
（３）BACK_LOGS = 50 BackupLog５０，５０。dataRestore，LogfileBackup，ThereforedefaultLog，LogBackup。
（４）META_DOWNLOAD_FREQ = 24 dataBackupfileDownloadrequest。default２４，dataserver(MASTER)Downloadmetadata.mfs.backfile。dataserverDisablefault，matedata.mfs.backfile，Restoremfs,metaloggerserverfile。Note: file，Logfile，Restoredistributedfilesystem。
（）dataLogservice（metalogger）Disable
１、Start：
|
/usr/local/mfs/sbin/mfsmetalogger start
working directory: /usr/local/mfs/var/mfs
lockfile created and locked
initializing mfsmetalogger modules …
mfsmetalogger daemon initialized properly
|
StartIfdataserver，systemerror。
２、Disableservice，command /usr/local/mfs/sbin/mfsmetalogger stop
３、checkservice。，dataserver，data。
◆dataservernetworkconnection，Logserverconnectiondataservertcp 9419port。
◆Logserverdirectory，file（dataserver）。dataserverreplicationLogfilefile。
datachunkserverserverInstallationConfiguration
dataserverchunkserverunixplatform，Therefore。MFSEnvironmentclusterserver，PB，，3；，master（problem，Implementation，）。BecausedataserverInstallationConfiguration，server。
（）、Installationdataserver chunkserver
1、DownloadGNU
wget http://ncu.dl.sourceforge.net/project/moosefs/moosefs/1.6.11/mfs-1.6.11.tar.gz
2、 tar zxvf mfs-1.6.11.tar.gz
3、directory cd mfs-1.6.11
4、CreateUser useradd mfs –s /sbin/nologin
5、Configuration ./configure –prefix=/usr/local/mfs –with-default-user=mfs –with-default-group=mfs
6、CompilationInstallation make ; make install
（）Configurationdataserverchunkserver
dataserver2Configurationserver，configuration file mfschunkserver.cfg ,configuration file mfshdd.cfg。server MFSraid，。Createfile，Then，，。
1、configuration file /usr/local/mfs/etc/mfschunkserver.cfg。configuration file：
|
#WORKING_USER = mfs
#WORKING_GROUP = mfs
# DATA_PATH = /usr/local/mfs/var/mfs
# LOCK_FILE = /var/run/mfs/mfschunkserver.pid
# SYSLOG_IDENT = mfschunkserver
# BACK_LOGS = 50
# MASTER_RECONNECTION_DELAY = 30
MASTER_HOST = 192.168.0.19
MASTER_PORT = 9420
# MASTER_TIMEOUT = 60
# CSSERV_LISTEN_HOST = *
# CSSERV_LISTEN_PORT = 9422
# CSSERV_TIMEOUT = 60
# CSTOCS_TIMEOUT = 60
# HDD_CONF_FILENAME = /usr/local/mfs/etc/mfshdd.cfg
|
configuration file，“#”，Description：
◆ MASTER_HOST = 192.168.0.19 dataserverAddress，，ipAddress，dataserverdataserver。
◆ LOCK_FILE = /var/run/mfs/mfschunkserver.pid dataservermaster.
◆ CSSERV_LISTEN_PORT = 9422 CSSERV—chunkserver,portdataserverconnection，datareplication。
2、configuration file/usr/local/mfs/etc/mfshdd.cfg。server，1TSATA，800GMFSservice。mfsdirectory，directory。server /data , chown –R mfs:mfs /data 。BecauseserverMFS,Thereforeconfiguration file：
|
/data
|
filedefault，，Because“#”Function。
（）Startdataserverchunkserver
dataserverchunkservercommand /usr/local/mfs/sbin/mfschunkserver start Startdataprocess.checkchunkserver.
1、 process ps aux | grep mfschunkserver
2、 network，9422，IfdataserverchunkserverdataservermasterManagement，chunkserverconnection:
3、 dataserversystemLog，dataserverchunkserver。
|
tail -f /var/log/messages
Mar 27 14:28:00 mfs-ctrl mfsmaster[29647]: server 3 (192.168.0.71): usedspace: 65827913728 (61 GB), totalspace: 879283101696 (818 GB), usage: 7.49%
|
（） Disabledataserver
dataservermaster，command /usr/local/mfs/sbin/mfschunkserver –s , chunkserverservice。systemRestartStartchunkserver service，/etc/rc.localfile /usr/local/mfs/sbin/mfschunkserver start （masterRestart）。
MFSclientInstallationConfiguration
Environment，centosfreebsdEnvironment，Therefore，centosfreebsdMFSfilesystem，unixsystem，。，clientMFSclusterfilesystem。
、centosMFSclient。
（） InstallationMFSclient
◆MfsmountdependencyFUSE,ThereforeInstallationfuse， fuse-2.7.4.tar.gz。
1、 tar zxvf fuse-2.7.4.tar.gz
2、directory cd fuse-2.7.4.
3、Configuration ./configure
4、CompilationInstallation make；make install
IfsystemInstallationfuse,。
◆InstallationMFSclient
1、Environmentvariablefile/etc/profile ,，Thencommandsource /etc/profile。
|
export PKG_CONFIG_PATH=/usr/local/lib/pkgconfig:$PKG_CONFIG_PATH
|
If，InstallationMFS，command
./configure –enable-mfsmount"checking for FUSE… no configure: error: mfsmount build was forced, but fuse development package is not installed"error，InstallationMFSclient。
2、 tar zxvf mfs-1.6.11.tar.gz
3、directory cd mfs-1.6.11
4、CreateUser useradd mfs –s /sbin/nologin
5、Configuration ./configure –prefix=/usr/local/mfs –with-default-user=mfs –with-default-group=mfs –enable-mfsmount
6、CompilationInstallation make ; make install
◆checkMFSclientInstallation。directory/usr/local/mfs/bindirectoryfile，file：
（）MFSfilesystem
1、Create mkdir /mnt/mfs
2、MFS /usr/local/mfs/bin/mfsmount /mnt/mfs –Ｈ 192.168.0.19 .Note: ，MFSdataservermaster,dataserverchunkserver !
3、diskchecksuccess。
|
[root@mysql-bk ~]# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/hda1 19G 2.7G 16G 15% /
/dev/hda7 51G 180M 48G 1% /backup
/dev/hdc1 145G 6.4G 131G 5% /data
/dev/hda5 19G 173M 18G 1% /home
/dev/hda3 24G 217M 23G 1% /var
/dev/hda2 29G 1.6G 26G 6% /usr
tmpfs 1.7G 0 1.7G 0% /dev/shm
mfs#192.168.0.19:9421 2.5T 256G 2.2T 11% /mnt/mfs
|
4、 directory/mnt/mfs，file，？Nexttouch Createfile，ThenDelete，。
5、 Settingsfile，3。
|
Settings
mfsrsetgoal 3 /mnt/mfs
Settings
mfsgetgoal /mnt/mfs/serydir/bind-9.4.0.tar.gz
/mnt/mfs/serydir/bind-9.4.0.tar.gz: 3
|
6、SettingsDeletefile。default7（604800）
|
10
mfsrsettrashtime 600 /mnt/mfs
|
6、 commandfile/etc/rc.local，ImplementationStartMFS.
、freebsdMFSclient
FreebsdInstallationMFSclusterfilesystem,centos.mfsmountdependencyfuse,fusefsmodule。
（）Installationfuse
1、 tar zxvf fuse-2.7.4.tar.gz
2、directory cd fuse-2.7.4.
3、Configuration ./configure
4、CompilationInstallation make；make install
IfsystemInstallationfuse,。
（） Installationmodulefusefs-kmod
1、systemcommandsysinstall
2、Configure,。
3、“Packages”,。
4、“FTP”Installation，。
5、“kld”，default“[OK]”，software。
6、“fusefs-kmod-0.3.9.p1_2”,[OK]“4”。“Tab”“Install”，Installation，Installationsuccess，Then。
◆ fusefsmodule kldload /usr/local/modules/fuse.ko .Ifsuccess，checkmodulefilefuse.ko.
◆ checkfusefsmodule：
If，fusefsmodulesuccess。
（）Installation pkg-config：
1、cd /usr/ports/devel/pkg-config
2、make install clean
（）InstallationMFSclient
1、 tar zxvf mfs-1.6.11.tar.gz
2、directory cd mfs-1.6.11
3、CreateUser pw useradd mfs –s /sbin/nologin
4、Configuration ./configure –prefix=/usr/local/mfs –with-default-user=mfs –with-default-group=mfs –enable-mfsmount
5、CompilationInstallation make ; make install
◆checkMFSclientInstallation。directory/usr/local/mfs/bindirectoryfile，file：
![clip_image018[1]](https://www.cnop.net/uploadfile/2013/0927/20130927104309164.jpg "clip_image018[1]")
（）MFSfilesystem
1、Create mkdir /mnt/mfs
2、MFS /usr/local/mfs/bin/mfsmount /mnt/mfs –H 192.168.0.19 .Note: ，MFSdataservermaster,dataserverchunkserver !
3、diskchecksuccess。
|
[root@mysql-bk ~]# df -h
Filesystem Size Used Avail Capacity Mounted on
/dev/ad4s1a 26G 570M 24G 2% /
devfs 1.0K 1.0K 0B 100% /dev
/dev/ad4s1g 356G 157G 170G 48% /data
/dev/ad4s1f 17G 215M 15G 1% /home
/dev/ad4s1d 28G 1.1G 25G 4% /usr
/dev/ad4s1e 24G 362M 21G 2% /var
/dev/fuse0 2.5T 256G 2.2T 11% /mnt/mfs
|
5、 directory/mnt/mfs，centos distributedfilesystemMFSfile。
6、 Settingsfile，3。
|
Settings
mfsrsetgoal 3 /mnt/mfs
Settings
mfsgetgoal /mnt/mfs/serydir/bind-9.4.0.tar.gz
/mnt/mfs/serydir/bind-9.4.0.tar.gz: 3
|
6、SettingsDeletefile。default7（604800）
|
10
mfsrsettrashtime 600 /mnt/mfs
|
（）MFS
Createfile/etc/rc.local,：.
|
#!/bin/sh
/sbin/kldload /usr/local/modules/fuse.ko
/usr/local/mfs/bin/mfsmount -h 192.168.0.19
|
ImplementationRestartsystemMFSfilesystem。
Testing
、Testingdataserver
5serverMFSplatform，master,serverchunkserver.Stopchunkserverservice，ThenMFSclientdirectory（/mnt/mfs）replicationdataCreatedirectory/file、file、Deletefile，。Stop2chunkserver，；ThenStop3server，file。chunkserver，chunkserverserver,ThenMFS，。
chunkserverserverTesting，servicereliability，Finallyserver，service。
、Testingdataserver
dataserverfiledirectory /usr/local/mfs/var/mfs ,MFSdata,directoryfile,Backupdirectoryfile,MFSfilesystemreliability.,dataserverLogfile(changelogs) 、replicationdataserver，changelog_csback.*.mfs。，dataserver，dataserver，ThendataserverchunkserverRestorefile。
（）Testing
1、Stopdataservice /usr/local/mfs/sbin/mfsmaster
2、Backupdataserverdata cd /usr/local/mfs/var; tar czvf mfs.tgz mfs
3、Deletedirectory mv mfs mfs.bk rm –rf mfs
4、Startdataservice ../sbin/mfsmaster start Startfailure，data。
5、 tar zxvf mfs.tgz
6、Restore .. /sbin/mfsmetarestore –a
7、Startdataservice ../sbin/mfsmaster start
8、MFSclientcheckMFSdataRestore？。
（） Testing
1、 InstallationMFSdataserver。
2、 Currentlydata（ｍａｓｔｅｒ）LogBackupserver(mfsmetalogger)replicationBackupfile metadata.mfs.back/metadate_ml.mfs.backserverdirectory(metadata.mfs.backcrontabBackup).
3、 Currentlydata（ｍａｓｔｅｒ）LogBackupserver(mfsmetalogger)replicationdataserverdatadirectory（/usr/local/mfs/var/mfs）dataserver。
4、 Stopdataserver（DisableStopnetworkservice）。
5、 dataserveripserverip.
6、 dataRestore，command：mfsmetarestore -m metadata.mfs.back -o metadata.mfs changelog_ml.*.mfs RestoresuccessStartdataservice。
7、 Startdataservice /usr/local/mfs/sbin/mfsmaster start
8、 MFSclientcheckMFSdataRestore？。
Pawel Kalinowski （mfs）Help！
2010/1/11
software：
Hi!
Thank you very much for promoting MooseFS in Chinese language! Please feel
free to use our images of architecture I sent you before. If you need any
help please tell us.
free to use our images of architecture I sent you before. If you need any
help please tell us.
Kind regards
Michał Borychowski