HOME / 日記 / pigz(マルチスレッドで動作するマルチコアに最適なgzip互換ソフトウェア)を試す

Date: 2009/09/07 |  このエントリーをはてなブックマークに追加  |  Tags: OpenSolaris, gzip, マルチコア, パラレル, マルチスレッド, pigz, pgzip

pigz(マルチスレッドで動作するマルチコアに最適なgzip互換ソフトウェア)を試す

gzipをマルチコアのマシンで動かしても、CPU1つしかつかってくれないわけですが、最近はノートパソコンでもマルチコアで、CPUパワーが余っているわけです。

巨大なファイル(1GBとか)をgzipで固めると結構遅いので、マルチスレッドに対応したpigzを試してみました。

OpenSolarisでのインストールはこんなかんじ。

jucrのpendingレポジトリの追加

pfexec pkg set-publisher -O http://jucr.opensolaris.org/pending juicer

インストール

pfexec pkg install -v pigz

juicerのレポジトリは定期的に落ちるので、以後pkgコマンドでエラーが出るのが嫌な場合はunset-publisherをしておきましょう。

厳密じゃないんだけどtimeコマンドで比較。

gzipの場合

time pfexec zfs send dpool/rpool/zones/m-p2s-20090410/ROOT/zbe-8@zfs-async:bp-1  | gzip -9c > /zones/work/p2vi-snv101-20090410.zfs.gz

結果

0.00s user 3.61s system 0% cpu 13:01.85 total

13分2秒=782秒程度。

pigzの場合

time pfexec zfs send dpool/rpool/zones/m-p2s-20090410/ROOT/zbe-8@zfs-async:bp-1  | pigz -9c > /zones/work/p2vi-snv101-20090410.zfs.gz 

結果

0.00s user 4.08s system 0% cpu 6:58.43 total

6分58秒=418秒程度。

比率

1.87倍程度でしょうか。

まあ、pigz、使ってみようってことで(笑)

補足

デフォルトではコア数の分、スレッドを切るようで、prstat -mL 1で見てみると、CPUがまだまだ空いている。

1つのスレッドが1つのCPUを100%使い切れるわけではないので、その関係もあるのでしょう。

ということで、pig -p4あたりにしてみたところ、prstat -mL 1でみると4匹のpigzが立ち上がっておりました。Dual Coreの私のノートでは、このぐらいの方が、速度は速そうです。他のプロセスに影響を与えるわけですが・・・(笑



日記

Recent Updates

SONY WH-1000XM3

自分用メモです。 ノイズキャンセラーの性能が良い。 WH-1000Xのころは、ノイズキャンセラーを有効すると、音は聞こえないのに妙な音圧があったが、それがかなり軽減。個人的には気にならなくなった。 また、WH-1000Xのころは、ノイズキャンセラーを無効にしても、なんか作られたような音が出ていたような気がしたが、割と普通に聞こえる。 USB-Cになったのも良い。飛行機でも使う …
»続きを読む

Catalina(10.15)

Catalina Betaを入れ始めたので、自分用のまとめ。 総じて、とても良いです。 描画遅れもないし、フレームレートも速い。かと言って、Luna Displayのような、jpeg ノイズもない。 接続は、Airplayのようなイメージで接続可能。Wi-Fiでも十分速いので、イメージとして、AppleTVでAir Playをしたかんじで接続できるため、特になにかiPad側の準備 …
»続きを読む

ディスクの不良を確認する(iostat -EnのError等)

ディスク関係のスタックをざっくり書くと次の様になっています 例、SAS Expanderを使う場合、 例、AHCIなどを使う場合、 これらのエラーは、次の様なコマンドで知ることができます。 出力結果例 このなかで、 たとえば、SATAディスクを利用している際に負荷が上がってしまい、ディスクの応答が間に合わないシチュエーションでは、Transport Errorが一気に …
»続きを読む

2017年、新年明けまして、おめでとうございます。

日記/2017年、新年明けまして、おめでとうございます。

新年明けまして、おめでとうございます。今年もよろしくお願いします。 昨年中は、皆様にお世話になりました。 昨年は、コツコツと3年程前から行ってきた改革がある程度完成された年で、この先5年、10年を見据えて、次のフェーズへと進む為の土台が完成した年でもありました。 それにキャッチアップする形で、個々の従業員一同が、役割を自覚し、明確に動けた年であったかと考えています。 …
»続きを読む

RSA鍵認証のみにし、Password認証を無効化する

意外に覚えきれなくて、いつも忘れるので、メモついでに残しておきます。 古いOpenSSHや、SunSSHの場合は、これも無効にします。 ユーザ目線でのザックリとした説明を。OpenSSHではなく別のSSH実装も含めて考えているので、OpenSSHのソースをじっくり読んだわけではないため、間違ってたらすみません。 まず、Password認証を無効にする場合、 PasswordAut …
»続きを読む

Nexus7 2013をMarshmallow(Android 6.0)化

OTAでない方法で。 だいたい ここに書いてある方法 なんだけど、adbなどが一式使えている状態で。 まずは自分の機種のものをダウンロードする。僕のは、 Android 6.0 Marshmallow for Nexus 7 2013 Wi-Fi 。tgzを展開し、zipも解いておく。 まずはboot loaderへ。 bootloader自体のアップデート。一式、updat …
»続きを読む

OS X 10.11 El Capitanで、phpのモジュールインストール

Yosemiteからのアップデートは割と簡単です。なぜならYosemite時に、すでにapache 2.4になり、php 5.5になっているから(笑 アップデート前に、まずはphp.iniとhttpd.confをバックアップしておきましょう きになるなら、hostsとかapache以下全てをバックアップしておいてもいいかも。 後はEl Capitanにアップデートする。 アッ …
»続きを読む

EasyAcc Powerbank PB4000CB

スマフォTips/モバイルバッテリー/モバイルバッテリー製品レビュー/EasyAcc Powerbank PB4000CB

薄型のモバイルバッテリーEasyAcc Powerbank PB4000CBです。 今や、モバイルバッテリーは大型のものが好まれるのか、隙間無く商品があります。20,000mAh越えで、「でけえ!」とか言ってますけど、大きいのを探せば、100Wh(27,000mAh)、200Wh当たり前、探せば500Wh(135,000mAh)とか、もっともっとあるのです。用途がどんどん異なっていくので …
»続きを読む

最新  |  << 前ページ  |  次ページ >>  |  最初