24v消防强切:NFS、PVFS和Lustre文件系统的安装和性能评测

来源:百度文库 编辑:偶看新闻 时间:2024/05/01 18:54:01
 - blog - 51CTO技术博...

如今,面向网络的计算环境需要一种高性能、网络化的文件系统,这种文件系统既可满足个人的存储需求又可满足集群系统的文件共享需求。在实际应用中,NFS、PVFS文件系统越来越不能满足大规模计算需求。Lustre是一种高性能并行文件系统,它克服了传统分布式文件系统中性能低、可靠性差、规模小等问题。现通过在同一环境下分别安装NFS、PVFS和Lustre文件系统,然后评测它们的性能。其中在不同系统下的安装方法是不同的,在redhat下可通过rpm来安装,比较简单;在ubuntu下则有点复杂。
    一:NFS PVFS Lustre安装和配置         1.NFSl        安装服务器端:apt-get install portmapapt-get install nfs-user-serverapt-get install nfs-kernel-server客户端:apt-get install nfs-common启动nfs服务/etc/init.d/portmap start/etc/init.d/nfs-user-server start/etc/init.d/nfs-kernel-server startl        配置服务器端:#vi /etc/exports输入允许被访问的IP地址及有关权限客户端:#vi /etc/fstab输入要访问的IP地址 2.PVFSl        安装下载Berkeley DB(version 3 or 4)aio support(provided by glibc and librt)gcc 2.96 or newerPVFS官网下载PVFS-2.7.1.tar.gz软件包,然后解压,进入PVFS-2.7.1目录中,用命令./configuremakemake install完成安装。注意:在安装PVFS软件包时首先可查看以下系统中是否已经安装过数据库和glibcgcc编译器的版本是否大于或等于2.96。如果已经安装好再去安装PVFS,在实际的安装过程中,有可能会出现无法找到DB library,这说明你虽然安装db-xx.tar.gz,但是没安装db-devel-xx.rpmPVFS安装手册要求安装GNU,但可以不安装。l        配置服务器端:#/usr/bin/pvfs2-genconfig /etc/pvfs2-fs.conf       启动服务器:#/usr/sbin/pvfs2-server /etc/pvfs2-fs.conf –f                             #/usr/sbin/pvfs2-server /etc/pvfs2-fs.conf                             #/etc/rc.d/init.d/pvfs2-server start       客户端:#mkdir /mnt/pvfs2                      #touch /etc/pvfs2tab                      #chmod a+r /etc/pvfs2tab       测试:./pvfs2-ping –m /mnt/pvfs2注意:在实际的安装中,PVFS被安装在/usr/local目录下。其中pvfs2- genconfig/usr/local/bin中,pvfs2-server/usr/local/sbin中。所以上面的目录对于有些机器是不一样的,在使用中可以去除目录直接使用命令即可。pvfs2-genconfig命令可产生配置文件,其中有host namelocal name两项,要输入服务器和客户端的别名而不是IP地址。 
3.Lustre
(1)   下载给内核打补丁的工具quilt-0.46,用命令#apt-get install quilt-0.46
(2)  给Linux内核打上Lustre补丁,用命令#apt-get install linux-patch-lustre
(3)下载Linux源代码,用命令#apt-get install linux-source-2.6.18
(4)对linux-source-2.6.18.tar.gz解压,进入linux-source-2.6.18的目录中进行编译:用make clean,make mrproper,make menuconfig。
(5)#make-kpkg clean;#make-kpkg--added-patches=lustre--initrd--append-to-version"-quota-enabled-lustre-1.6.4.1" --revision credativ.1 kernel_image
(6)#dpkg –i *.deb
(7) 重新选内核,reboot
(8)#apt-get install dpatch
(9)#m-a auto-install lustre
(10)#apt-get install luster-utils
(11)#modprobe lnet 'network="tcp0(eth0)"';
#modprobe lustre;     
#modprobe ldiskfs。
二:用iozone测试性能
1:I/O性能:
在写性能上:NFS、PVFS差别不是很大;Lustre比它们平均性能提高了20%~30%。 
在读性能上:PVFS比NFS平均性能提高了15%左右;Lustre比PVFS平均性能提高了10%左右;Lustre比NFS提高了20%~30%。
 
2:扩展性:
PVFS:静态配置,不能动态扩展

NFS 、Lustre:在线扩展
 
3:安全性:
NFS:  “信任网络”

PVFS:数据无容错机制

Lustre:MDS、OST、Client构成高级安全框架