HOME / 日記 / pigz(マルチスレッドで動作するマルチコアに最適なgzip互換ソフトウェア)を試す

Date: 2009/09/07 |  このエントリーをはてなブックマークに追加  |  Tags: OpenSolaris, gzip, マルチコア, パラレル, マルチスレッド, pigz, pgzip

pigz(マルチスレッドで動作するマルチコアに最適なgzip互換ソフトウェア)を試す

gzipをマルチコアのマシンで動かしても、CPU1つしかつかってくれないわけですが、最近はノートパソコンでもマルチコアで、CPUパワーが余っているわけです。

巨大なファイル(1GBとか)をgzipで固めると結構遅いので、マルチスレッドに対応したpigzを試してみました。

OpenSolarisでのインストールはこんなかんじ。

jucrのpendingレポジトリの追加

pfexec pkg set-publisher -O http://jucr.opensolaris.org/pending juicer

インストール

pfexec pkg install -v pigz

juicerのレポジトリは定期的に落ちるので、以後pkgコマンドでエラーが出るのが嫌な場合はunset-publisherをしておきましょう。

厳密じゃないんだけどtimeコマンドで比較。

gzipの場合

time pfexec zfs send dpool/rpool/zones/m-p2s-20090410/ROOT/zbe-8@zfs-async:bp-1  | gzip -9c > /zones/work/p2vi-snv101-20090410.zfs.gz

結果

0.00s user 3.61s system 0% cpu 13:01.85 total

13分2秒=782秒程度。

pigzの場合

time pfexec zfs send dpool/rpool/zones/m-p2s-20090410/ROOT/zbe-8@zfs-async:bp-1  | pigz -9c > /zones/work/p2vi-snv101-20090410.zfs.gz 

結果

0.00s user 4.08s system 0% cpu 6:58.43 total

6分58秒=418秒程度。

比率

1.87倍程度でしょうか。

まあ、pigz、使ってみようってことで(笑)

補足

デフォルトではコア数の分、スレッドを切るようで、prstat -mL 1で見てみると、CPUがまだまだ空いている。

1つのスレッドが1つのCPUを100%使い切れるわけではないので、その関係もあるのでしょう。

ということで、pig -p4あたりにしてみたところ、prstat -mL 1でみると4匹のpigzが立ち上がっておりました。Dual Coreの私のノートでは、このぐらいの方が、速度は速そうです。他のプロセスに影響を与えるわけですが・・・(笑



日記

Recent Updates

openjdk(SPARC)

SPARC用のJAVA。 最近は新しいバージョンがSPARCでリリースされず、苦労している人も多いのですが、SPARC Solarisの界隈人達がビルドして代わりに使われているものです。 Solaris 11 SPARC jdk builds
»続きを読む

Solaris11のCPU(Critical Patch Unit)の当て方

コンピュータTips/Solaris/Solaris11のCPU(Critical Patch Unit)の当て方

Solaris 11.4には4つのリビジョンがあります。 2024年4月現在、Solaris自体の開発はメンテナンスフェーズになったわけでもなく、SRU毎に、最新機能がモリモリ入っていきます。 GA(Release 版) 一応、無償のOTNライセンスの利用も可能 いわゆる、リリース時点のバージョンのことですが、現在は 利用しません 。 以前は、1〜2年に1度の頻度でリリ …
»続きを読む

Emacs.appで書類(Documents)がアクセス出来ないとき

コンピュータTips/MacOSX/Emacs.appで書類(Documents)がアクセス出来ないとき

Catalina以降の権限問題なので、システム設定のセキュリティとポリシーの中にあるプライバシー内のFull Disk Accessに、Emacs.appと/usr/bin/rubyを入れればすむ。 /usrフォルダを、プライバシーの+から入れるのは、ちょっと面倒なので、あらかじめFinderのお気に入りの中に入れておくと良いでしょう。   rubyが入るのは、Emac …
»続きを読む

SONY WH-1000XM3

自分用メモです。 ノイズキャンセラーの性能が良い。 WH-1000Xのころは、ノイズキャンセラーを有効すると、音は聞こえないのに妙な音圧があったが、それがかなり軽減。個人的には気にならなくなった。 また、WH-1000Xのころは、ノイズキャンセラーを無効にしても、なんか作られたような音が出ていたような気がしたが、割と普通に聞こえる。 USB-Cになったのも良い。飛行機でも使う …
»続きを読む

Catalina(10.15)

Catalina Beta を入れ始めたので、自分用のまとめ。 2019/10/8、Catalinaが振ってきたので製品版用に記載を変えました。 32bitアプリを確認すること。 Activity Monitorで32bitアプリがわかるので、そういうアプリがあるなら代替品を見つけておくこと。 /etc以下のいくつかのファイルをバックアップしておくこと。 /etc …
»続きを読む

ディスクの不良を確認する(iostat -EnのError等)

ディスク関係のスタックをざっくり書くと次の様になっています 例、SAS Expanderを使う場合、 例、AHCIなどを使う場合、 これらのエラーは、次の様なコマンドで知ることができます。 出力結果例 このなかで、 たとえば、SATAディスクを利用している際に負荷が上がってしまい、ディスクの応答が間に合わないシチュエーションでは、Transport Errorが一気に …
»続きを読む

2017年、新年明けまして、おめでとうございます。

日記/2017年、新年明けまして、おめでとうございます。

新年明けまして、おめでとうございます。今年もよろしくお願いします。 昨年中は、皆様にお世話になりました。 昨年は、コツコツと3年程前から行ってきた改革がある程度完成された年で、この先5年、10年を見据えて、次のフェーズへと進む為の土台が完成した年でもありました。 それにキャッチアップする形で、個々の従業員一同が、役割を自覚し、明確に動けた年であったかと考えています。 …
»続きを読む

RSA鍵認証のみにし、Password認証を無効化する

意外に覚えきれなくて、いつも忘れるので、メモついでに残しておきます。 古いOpenSSHや、SunSSHの場合は、これも無効にします。 ユーザ目線でのザックリとした説明を。OpenSSHではなく別のSSH実装も含めて考えているので、OpenSSHのソースをじっくり読んだわけではないため、間違ってたらすみません。 まず、Password認証を無効にする場合、 PasswordAut …
»続きを読む

最新  |  << 前ページ  |  次ページ >>  |  最初