Memo/Linux/Archiver

Archiver †

デファクトスタンダート:

• gzip, bzip2, xz

新しい形式:

• zstd
  • 1スレッドでは、gzipより10%高速。圧縮率は同等。
  • Zstandard - Wikipedia
• lz4
  • 圧縮/展開速度が、gzipより数倍早い。圧縮率はgzipより低い。
  • LZ4 - Wikipedia

• 記事
  • 圧縮アルゴリズムの事前調査 - 豪鬼メモ
  • 2016年のOSS圧縮ツール選択カタログ - Qiita

zstd(Zstandard): gzipより圧縮/展開の速度が速い †

• Zstandard - Wikipedia
• zstdless, zstdcat, unzstdのコマンドがある

記事:

• バックアップの圧縮形式を変更して CPU 使用率を改善する - Pepabo Tech Portal
• ログを gzip で圧縮しているなら zstd を導入しよう #zstd - Qiita

• CentOS 7はepel repoにある

  sudo yum install zstd

ファイル破損の検出 †

• gzip

  gzip -t file.gz
  echo $?
  
  gzip: file.gz unexpected end of file
  1

パスワード付きzipファイルを作成する †

• 作成パスワード問い合わせをする

  zip -qr9 -e encrypt.zip target/

• 作成時にパスワード問い合わせしない。

  mkpasswd -l 16 -s 0 > zip-password.txt
  zip -qr9 -P "$(cat zip-password.txt)" encrypt.zip target/

• 展開時にパスワード問い合わせする

  unzip encrypt.zip

• 展開時にパスワード問い合わせしない

  unzip -P <password> encrypt.zip

zip圧縮展開 †

• 圧縮
  • 圧縮するディレクトリに絶対パスを用いると、絶対パスのまま圧縮されるので注意。

    cd /home/;zip -qr9 taro.zip taro/

• 展開

  unzip taro.zip -d taro

• 複数ファイル展開

  find . -name "*.zip" -exec unzip {} \;

展開後のファイルサイズを知る †

• 中身がランダムな100MBのダミーファイル作成。/dev/zero を使えば中身が0埋めになり、圧縮率は上がる

  head -c 100m /dev/urandom > dummy100MB.img
  
  gzip dummy100MB.img

• gzip

  gzip -l dummy100MB.img.gz
           compressed        uncompressed  ratio uncompressed_name
            104874329           104857600  -0.0% dummy100MB.img

• 展開後のサイズをMBで表示

  find . -name "*.gz" | xargs -i gzip -l {} | grep -v 'uncompressed' | perl -ne '@a=split(/\s+/);printf("%.1f\t%s\n", @a[2]/1024/1024, @a[4]);'
  
  1.9     ./test1
  1.9     ./test2

tar+opensslを使った暗号化と複合化 †

• 暗号化

  PASSWORD=$(mkpasswd -l 16 -s 0)
  echo $PASSWORD
  tar cz ./exsample | openssl enc -e -aes256 -k $PASSWORD -out ./exsample.enclypted.tgz

• 複合化

  openssl enc -d -aes256 -in exsample.enclypted.tgz | tar xz -C ./
  enter aes-256-cbc decryption password: ****

lzma形式 解凍圧縮 †

• CentOS5.4で、「lzma」「unlzma」を使えるように

  yum install xz-lzma-compat

• .lzma圧縮

  lzma [ファイル名]

• .lzma解凍

  unlzma [ファイル名].lzma

• .tar.lzma圧縮
  • tar 1.19以下

    tar cfv - [ファイルやディレクトリ...] | lzma > [ファイル名].tar.lzma

  • tar 1.20以上

    tar cvf [ファイル名].tar.lzma --lzma [ファイルやディレクトリ...]

• .tar.lzma解凍
  • tar 1.19以下

    lzcat [ファイル名].tar.lzma | tar xfv -

  • tar 1.20以上

    tar xvf [ファイル名].tar.lzma --lzma

tarによるバックアップ †

• シンボリックリンクを追跡して圧縮 : 'h' オプション

  tar cfzh /tmp/backup.tar.gz backup/

• 普通の場合
  • バックアップ
  • 圧縮先パスに絶対パスを用いると絶対パスのまま圧縮されるので注意。

    tar cvfz /mnt/mo/home_taro_backup.tar.gz taro

  • logというファイルを除外したければ、--exclude=log を付ける
    • File not found: "exclude.list" at page "Memo/Linux/Archiver"[添付]
  • バージョン管理ファイル(CVS, RCS, SCCS, SVN, Arch, Bazaar, Mercurial, Darcs) を除外したい場合 --exclude-vcs を付ける

• 除外を複数指定。「fX」の順序も厳密にこの順。 exclude.list に1行毎に書く。

  tar cvfz dir.tar.gz dir -X exclude.list

• リストア

  tar xvfz /mnt/mo/home_taro_backup.tar.gz

• 許可情報(オーナー、パーミッション)も保存する場合
  • バックアップ

    tar cvfzp /mnt/mo/home_taro_backup.tar.gz taro

• 絶対パスにリストア

  tar xvfzp /mnt/mo/home_taro_backup.tar.gz

  • 相対パスにリストア

    tar xvfzp /mnt/mo/home_taro_backup.tar.gz -C .

  • 「-o」もしくは「--no-same-owner」でrootユーザで展開した場合でも、root:rootにできる

• /etcなどの重要なディレクトリの場合
  • バックアップ

    tar --same-owner -cvfzp /mnt/mo/etc-backup.tar.gz /etc

  • リストア：lilo.confを戻す

    cd /tmp
    tar --same-owner -xvfzp /mnt/mo/etc-backup.tar.gz
    cd /etc
    mv lilo.conf lilo.conf.bak
    cp /tmp/etc/lilo.conf .

展開時にディレクトリをスキップする †

• example.tar.gzが以下の階層の時、展開時にdir1をスキップしたい

  dir1
    /dir2
      file1.txt

• --strip=N で指定階層をスキップする

  tar xvfz example.tar.gz -C ./ --strip=1

Software

• 自作ソフト
• wiki自作プラグイン
• 利用規定
• ランキング
• 雑誌等掲載履歴

Programming

Game

雑記

連絡先

• MenuBar
• RightBar
• :admin
  

人気の10件

最新の10件