1SSD+5HDD

パーツが揃ったので、早速ML115に組み込んで動かしてみました。

atacontrol list で見るとこんな感じ。

  Master: acd0 <TSSTcorp CD-ROM TS-H192C/B504> ATA/ATAPI revision 0
  Master:  ad4 <INTEL SSDSA2M040G2GC/2CV102HD> SATA revision 2.x
  Master:  ad6 <WDC WD20EARS-00MVWB0/50.0AB50> SATA revision 2.x
  Master:  ad8 <WDC WD20EARS-00MVWB0/51.0AB51> SATA revision 2.x
  Master: ad10 <WDC WD20EARS-00MVWB0/51.0AB51> SATA revision 2.x
  Master: ad16 <WDC WD20EARS-00MVWB0/51.0AB51> SATA revision 2.x
  Master: ad18 <WDC WD20EARS-00MVWB0/51.0AB51> SATA revision 2.x

gpart show で見るとこんな感じ。WD20EARSからはブートさせないので、パーティションタイプはMBRではなく、AFTに合わせるのに都合のいいGPTにしています。

いわゆるAFTを採用しているHDDは、従来の8倍にあたる4096byte単位でアクセスしないと本来の性能が出せないようです。従来通りの512byte単位でのアクセス要求が来た場合は、実際には4096byte単位で行うアクセスを、コントローラが疑似的に512byte単位に見せかける処理を行っているのですね。これが性能が出せない原因になっています。

ファイルシステムのinodeあたりの大きさは、最近の大容量HDDを使う場合は4096byteもしくはその倍数を使うことが多いので、ファイルシステムとしては4096byte単位で使われているように見えます。なのですが、パーティションの切れ目が4096byteの切れ目と合っていないと、常に「疑似的に合わせる処理」が動いてしまいます。

一般的に、HDDの先頭部分には、ファイルシステムとしては使えない予約領域があり、MBRスキームの場合はこれが63ブロック、GPTの場合は34ブロックであることが多いです。ここでいう「ブロック」は「セクタ」と同義で、1個のサイズが512byteであるため、512byte単位のアクセスなら気にしなくていいのですが、4096byte単位の場合は、パーティションを4096byteの切れ目、つまり8の倍数のブロックから始まるように切らないと、性能が出ないことになります。

このため、最初の数ブロックは未使用領域としてスキップして、MBRの場合は64、GPTの場合は40からパーティションを切り始めれば良さそうです。今回はGPTなので、スタートブロックとして40を指定し、実際にそのようになっています。

今回はGPTにしたので、以下はやや蛇足気味ですが、MBRの場合は、パーティション設定ツール（gpartやfdisk）が、パーティションの切れ目（スタートブロック）を、自動的に63の倍数に合わせてしまうようで、64を指定しても126（64より大きい最小の63の倍数）になってしまいます。これはおそらく、HDDの物理的な構成(63sectors/track)に影響を受けているのだと思われます。ですので、MBRの場合は最初のパーティションのスタートブロックを504(63と8の最小公倍数)にする形が良さそうです。

=>        34  3907029101  ad6  GPT  (1.8T)
          34           6       - free -  (3.0K)
          40  3907028992    1  freebsd-zfs  (1.8T)
  3907029032         103       - free -  (52K)

=>        34  3907029101  ad8  GPT  (1.8T)
          34           6       - free -  (3.0K)
          40  3907028992    1  freebsd-zfs  (1.8T)
  3907029032         103       - free -  (52K)

=>        34  3907029101  ad10  GPT  (1.8T)
          34           6        - free -  (3.0K)
          40  3907028992     1  freebsd-zfs  (1.8T)
  3907029032         103        - free -  (52K)

=>        34  3907029101  ad16  GPT  (1.8T)
          34           6        - free -  (3.0K)
          40  3907028992     1  freebsd-zfs  (1.8T)
  3907029032         103        - free -  (52K)

=>        34  3907029101  ad18  GPT  (1.8T)
          34           6        - free -  (3.0K)
          40  3907028992     1  freebsd-zfs  (1.8T)
  3907029032         103        - free -  (52K)

この5台でRAID-Zを組みます。せっかくSSDがあるので、その一部を ZIL(logs) の領域として使うようにしました。
zpool status で見るとこんな感じ。

  pool: tank
 state: ONLINE
 scrub: none requested
config:

        NAME        STATE     READ WRITE CKSUM
        tank        ONLINE       0     0     0
          raidz1    ONLINE       0     0     0
            ad6p1   ONLINE       0     0     0
            ad8p1   ONLINE       0     0     0
            ad10p1  ONLINE       0     0     0
            ad16p1  ONLINE       0     0     0
            ad18p1  ONLINE       0     0     0
        logs        ONLINE       0     0     0
          ad4s2     ONLINE       0     0     0

errors: No known data errors

SSDなad4を、2スライス+意図的な未使用領域に分けて、ad4s1はFreeBSDのシステム領域、ad4s2はZILのログ領域にしています。未使用領域を残しているのは、Trimが使えるようになるまで（正確にはFreeBSDのAHCIドライバがMCP55をサポートするまで）の対策のためです。

=>      63  78165297  ad4  MBR  (37G)
        63  58719969    1  freebsd  [active]  (28G)
  58720032   8388576    2  freebsd  [active]  (4.0G)
  67108608  11056752       - free -  (5.3G)

=>       0  58719969  ad4s1  BSD  (28G)
         0   1048576      2  freebsd-swap  (512M)
   1048576   4194304      1  freebsd-ufs  (2.0G)
   5242880  16777216      4  freebsd-ufs  (8.0G)
  22020096   8388608      5  freebsd-ufs  (4.0G)
  30408704   2097152      6  freebsd-ufs  (1.0G)
  32505856  26214113      7  freebsd-ufs  (12G)

WD20EARS は 2TB(≒1.8TiB) なので、この RAID-Z 全体としては 8TB(≒7.2TiB) ということになります。この zpool を、zfs でファイルシステムとして切り分けます。

REGZAから認識できるLANストレージは8つまでで、1つにつき4TiBとのことですので、まずここに4TiB。次にMySQLのDB領域に1TiB。私のHOME配下の作業領域に2TiBという感じで割り当てました。あと0.2TiBぐらい余っていますが、そもそもzfs/zpoolはそのあたりを上手に制御していて、はじめからきっちり分けておく必要はない（あとからの増減も簡単）ので、このへんはわりと適当です。