HOME / 日記 / dedupの続き

Date: 2010/05/22 |  このエントリーをはてなブックマークに追加  |  Tags: Solaris, OpenSolaris, Howto, 利用法

dedupの続き

14日に下記のようなブログを書きました。

せっかくだから時間計測・・・

time cp SourceJuicr.7z tmp/SourceJuicry.7z

cp SourceJuicr.7z tmp/SourceJuicry.7z 0.00s user 15.81s system 6% cpu 4:01.76 total

計算すると、17MB/secですね。通常ノートパソコンでコピーするとせいぜい5MB/secぐらいなので、速いのかな〜と思いますが、このパソコン、L2ARCとZILがあるので参考にはなりませんか(笑

本当に5MB/secなのか?と思って、dedupをoffにして試してみました。

pfexec zfs set dedup=off rpool/export/download 
time cp SourceJuicr.7z SourceJuicr2.7z 
cp SourceJuicr.7z SourceJuicr2.7z  0.00s user 14.08s system 6% cpu 3:23.87 total

20MB/secも出ておりました。この環境の特筆すべきは、

  • ディスク同じ(sata 2.5inch)
  • L2ARC + ZIL

です。

と言うわけでまとめを言うと、

dedup速度
on17MB/sec
off20MB/sec

となります。

dedup遅い・・・ってことになるのですが、これ、同じディスク間なのですよね。そう言う意味だと、通常コピーのワーストケースに近いわけです。

ディスク間だと、ファイルコピーは一般的にはもっと速いわけで、dedupって「」ってことになりますねえ。

何で遅いか考えてみると、dedupの照合には、shaを使ってるからと聞いてましたが、自分の環境にはこんなものがあります。

cryptoadm list 
ユーザーレベルプロバイダ:
プロバイダ: /usr/lib/security/$ISA/pkcs11_kernel.so
プロバイダ: /usr/lib/security/$ISA/pkcs11_softtoken.so
プロバイダ: /usr/lib/security/$ISA/pkcs11_tpm.so

カーネルソフトウェアプロバイダ:
	des

aesarcfourblowfisheccsha1sha2md4md5rsaswrand

カーネルハードウェアプロバイダ:

カーネルハードウェアプロバイダは、「なし」と。そのうち、様々なCPUにこういう支援機能が付くとおもうので、それが楽しみではあるのですが・・・

でも、ちょっと、疑念が・・・。

  • zfsで有名なJeff Bonwickのブログをみる
    • http://blogs.sun.com/bonwick/entry/zfs_dedup
  • 日本のSolaris界で有名な大曽根さんのブログをみる
    • http://blogs.sun.com/ako/entry/zfs_dedup
    • http://blogs.sun.com/ako/entry/zfs_dedup_2

ふむ・・・要約するといまいちわからん。

むむ・・・

  • http://src.opensolaris.org/source/search?q=dedup&project=%2Fonnv

むむむ・・・

速度の現実解を考えると、現状では、dedupはリアルタイム系のシステムではonに出来ないかも知れません。

さらにdedupは、Block単位でおこなわれているので、zfs send recvの時にも聞きます。なのでsnap mirrorをする先などではいいかもしれませんねぇ



日記

Recent Updates

ディスクの不良を確認する(iostat -EnのError等)

ディスク関係のスタックをざっくり書くと次の様になっています 例、SAS Expanderを使う場合、 例、AHCIなどを使う場合、 これらのエラーは、次の様なコマンドで知ることができます。 出力結果例 このなかで、 たとえば、SATAディスクを利用している際に負荷が上がってしまい、ディスクの応答が間に合わないシチュエーションでは、Transport Errorが一気に …
»続きを読む

2017年、新年明けまして、おめでとうございます。

日記/2017年、新年明けまして、おめでとうございます。

新年明けまして、おめでとうございます。今年もよろしくお願いします。 昨年中は、皆様にお世話になりました。 昨年は、コツコツと3年程前から行ってきた改革がある程度完成された年で、この先5年、10年を見据えて、次のフェーズへと進む為の土台が完成した年でもありました。 それにキャッチアップする形で、個々の従業員一同が、役割を自覚し、明確に動けた年であったかと考えています。 …
»続きを読む

RSA鍵認証のみにし、Password認証を無効化する

意外に覚えきれなくて、いつも忘れるので、メモついでに残しておきます。 古いOpenSSHや、SunSSHの場合は、これも無効にします。 ユーザ目線でのザックリとした説明を。OpenSSHではなく別のSSH実装も含めて考えているので、OpenSSHのソースをじっくり読んだわけではないため、間違ってたらすみません。 まず、Password認証を無効にする場合、 PasswordAut …
»続きを読む

Nexus7 2013をMarshmallow(Android 6.0)化

OTAでない方法で。 だいたい ここに書いてある方法 なんだけど、adbなどが一式使えている状態で。 まずは自分の機種のものをダウンロードする。僕のは、 Android 6.0 Marshmallow for Nexus 7 2013 Wi-Fi 。tgzを展開し、zipも解いておく。 まずはboot loaderへ。 bootloader自体のアップデート。一式、updat …
»続きを読む

OS X 10.11 El Capitanで、phpのモジュールインストール

Yosemiteからのアップデートは割と簡単です。なぜならYosemite時に、すでにapache 2.4になり、php 5.5になっているから(笑 アップデート前に、まずはphp.iniとhttpd.confをバックアップしておきましょう きになるなら、hostsとかapache以下全てをバックアップしておいてもいいかも。 後はEl Capitanにアップデートする。 アッ …
»続きを読む

EasyAcc Powerbank PB4000CB

スマフォTips/モバイルバッテリー/モバイルバッテリー製品レビュー/EasyAcc Powerbank PB4000CB

薄型のモバイルバッテリーEasyAcc Powerbank PB4000CBです。 今や、モバイルバッテリーは大型のものが好まれるのか、隙間無く商品があります。20,000mAh越えで、「でけえ!」とか言ってますけど、大きいのを探せば、100Wh(27,000mAh)、200Wh当たり前、探せば500Wh(135,000mAh)とか、もっともっとあるのです。用途がどんどん異なっていくので …
»続きを読む

EC Technology Sports Headsets S10-JWH07B

デバイスTips/Bluetooth/EC Technology Sports Headsets S10-JWH07B

Bluetoothのスポーツヘッドセット、 S10-JWH07B について。 今までブログに記載することはなかったのですが、実は割とBluetoothと言うか無線型のヘッドフォンを沢山持っています。赤外線や独自物、Bluetoothなどいくつもストックを持っていたりします。普通の人からするとマニアです。でも、マニアからみるとそうでもないレベルです。 ただ「ヘッドフォンの音質」というの …
»続きを読む

静岡県内をVPNでつなぐ(割と特殊な例)

静岡というのはある意味特殊な土地で、ほとんどのインターネットプロバイダのPOIは静岡でつながれておらず、NTT西圏内のどこかで繋がっているので、大抵大阪折り返しになる。仮に静岡県内にPOIがあっても、だいたい静岡でルーティングしてないので、やっぱり東京折り返しになってたりする。例え 同じプロバイダを使っていたとしても 。 だから静岡←→静岡のVPNは、静岡←→東京や、静岡←→大阪よりも遅 …
»続きを読む

最新  |  << 前ページ  |  次ページ >>  |  最初