ZFS文件系统和Sunx4500数据服务器在互联网行业的应用Xinfeng.liu@sun.com2008年6月简介在Web2.0的时代，互联网上的数据呈现了爆炸性的增长。大型互联网客户迫切需要一种大容量、廉价、节省空间的存储解决方案。SunFirex4500服务器结合Solaris的ZFS文件系统很好地满足了这种需求。SunFireX4500服务器可以提供四路x64服务器的卓越性能，最多可在4U机架空间内提供48TB最高密度存储。该系统包含2个双核AMDOpteron处理器，16GB内存，并内置了6个SATAII的磁盘控制器，48块热插拔的磁盘，以及4个千兆网口。该系统可以提供高数据吞吐量，而成本只是传统解决方案的一半。Solaris10包含的ZFS文件系统是对传统文件系统的一次革命性的创新设计，ZFS解决了文件系统的完整性、安全性和可伸缩性以及管理困难等重要难题。ZFS文件系统是世界上第一个128位的文件系统，其存储容量和文件数量几乎只受硬件的限制，非常适合互联网上的大数据量的应用。而且ZFS文件系统的checksum和transactional的操作方式实现了端对端的数据安全，减少了为保证数据的高可靠性对昂贵硬件的依赖，大大降低了存储成本。另外，ZFS文件系统的管理非常简便，采用了存储池的管理，并包含了传统的卷管理器的功能，但无需传统卷管理器的复杂的命令操作。由于ZFS的独特设计，ZFS文件系统无需mount，无需fsck，无需journaling，大大地简化了日常维护。ZFS文件系统已包含在Solaris10或opensolaris中，无需另外下载并且是免费的和开源的。本文主要介绍ZFS文件系统和Sunx4500服务器作为互联网上文件服务器的典型应用和优化。其内容包括：●ZFS文件系统的特点和调优●ZFS文件系统的部署规划建议●Sunx4500作为文件服务器的系统调优ZFS文件系统的特点和调优ZFS文件系统在设计上与传统的文件系统有很大的不同。我们需要对ZFS的几个基本概念有所了解：RecordSizeRecordSize也就是通常所说的文件系统的blocksize。ZFS采用的是动态的RecordSize，也就是说ZFS会根据文件大小选择*适合*的512字节的整数倍作为存储的块大小，最大的RecordSize为128KB。通常没有必要手工设置RecordSize。如果手工把RecordSize调小，将不会得到空间的节省，并且常常会影响性能。ZFS的Block是计算checksum的单位，一个文件用到的block越多，计算checksum以及维护metadata的开销就会越大。目前ZFS的版本下，只有一种情况需要手工调小RecordSize：大文件上的小数据量的更新。常见的情况是数据库的数据文件在ZFS上，并且是做OLTP为主的应用。原因是大文件的blocksize是128KB，如果只更新其中一小部分数据，由于ZFS是copy-on-write的方式来更新数据，这种情况下仍然要读写128KB的数据，造成了不必要的开销。另外，修改了RecordSize后，对之前创建的文件不起作用。ARC(AdaptiveReplacementCache)这实际上是ZFS的文件系统的cache。它是一个可以自动伸缩的cache。目前一个操作系统实例里只有一个ARC，不管这个操作系统上有多少个ZFSPool。而且metadata和实际的数据都共用这个ARC。如果没有其它应用或操作系统本身争用内存，ZFS会尽可能多地使用物理内存作为cache。如果事先知道应用程序或操作系统需要使用多少内存，可以考虑限制ARC的大小。在/etc/system中设置，例子：setzfs:zfs_arc_max=0x200000000（设置ARC最大为8GB）还可以使用如下工具来监测ARC的使用情况。bash-3.00#./zfs_arcstat.plTimereadmissmiss%dmisdm%pmispm%mmismm%arcszc14:41:0310M2M212M210097K772G2G14:41:0489022825228250081002G2G14:41:051K27325273250071002G2G14:41:0688022125221250051002G2G14:41:071K27225272250010522G2G14:41:081K24424244240041002G2G14:41:091K294252942500101002G2G14:41:101K2582525825006662G2G