dedupの続き

14日に下記のようなブログを書きました。

せっかくだから時間計測・・・

time cp SourceJuicr.7z tmp/SourceJuicry.7z

cp SourceJuicr.7z tmp/SourceJuicry.7z 0.00s user 15.81s system 6% cpu 4:01.76 total

計算すると、17MB/secですね。通常ノートパソコンでコピーするとせいぜい5MB/secぐらいなので、速いのかな〜と思いますが、このパソコン、L2ARCとZILがあるので参考にはなりませんか（笑

本当に5MB/secなのか？と思って、dedupをoffにして試してみました。

pfexec zfs set dedup=off rpool/export/download 
time cp SourceJuicr.7z SourceJuicr2.7z 

cp SourceJuicr.7z SourceJuicr2.7z  0.00s user 14.08s system 6% cpu 3:23.87 total

20MB/secも出ておりました。この環境の特筆すべきは、

• ディスク同じ（sata 2.5inch）
• L2ARC + ZIL

です。

と言うわけでまとめを言うと、

となります。

dedup遅い・・・ってことになるのですが、これ、同じディスク間なのですよね。そう言う意味だと、通常コピーのワーストケースに近いわけです。

ディスク間だと、ファイルコピーは一般的にはもっと速いわけで、dedupって「遅」ってことになりますねえ。

何で遅いか考えてみると、dedupの照合には、shaを使ってるからと聞いてましたが、自分の環境にはこんなものがあります。

cryptoadm list 

ユーザーレベルプロバイダ:
プロバイダ: /usr/lib/security/$ISA/pkcs11_kernel.so
プロバイダ: /usr/lib/security/$ISA/pkcs11_softtoken.so
プロバイダ: /usr/lib/security/$ISA/pkcs11_tpm.so

カーネルソフトウェアプロバイダ:
	des

aesarcfourblowfisheccsha1sha2md4md5rsaswrand

カーネルハードウェアプロバイダ:

カーネルハードウェアプロバイダは、「なし」と。そのうち、様々なCPUにこういう支援機能が付くとおもうので、それが楽しみではあるのですが・・・

でも、ちょっと、疑念が・・・。

• zfsで有名なJeff Bonwickのブログをみる
  • http://blogs.sun.com/bonwick/entry/zfs_dedup
• 日本のSolaris界で有名な大曽根さんのブログをみる
  • http://blogs.sun.com/ako/entry/zfs_dedup
  • http://blogs.sun.com/ako/entry/zfs_dedup_2

ふむ・・・要約するといまいちわからん。

むむ・・・

• http://src.opensolaris.org/source/search?q=dedup&project=%2Fonnv

むむむ・・・

速度の現実解を考えると、現状では、dedupはリアルタイム系のシステムではonに出来ないかも知れません。

さらにdedupは、Block単位でおこなわれているので、zfs send recvの時にも聞きます。なのでsnap mirrorをする先などではいいかもしれませんねぇ