Memo/Linux/find

find †

ファイルが多い/大きい場合の削除 †

• 記事
  • 大量・巨大なファイル操作を低負荷で行う方法 - How old are you?

ファイル数が10万等多すぎるとls等の反応が無くなる場合がある。

• ファイル数が多い場合: 「ls -f」でソート無しならファイルリストは取得できる。
• ファイルが巨大な場合: truncate --size 0 /path/to/file

# ファイル数の総数
ls -lf /path/to/dir/ | wc -l

# ファイルの先頭100個まで表示
ls -lf /path/to/dir/ | head -n 100

# tmpから始まるファイルを削除
find . -type f -name 'tmp.*' -exec sleep 0.1 \; -print

# 実際に削除: サーバの負荷をかけずに、ゆっくりファイルを消す。秒間10ファイル
nohup nice find . -type f -name 'tmp.*' -exec sleep 0.1 \; -print -delete &

# nohup.out 確認後削除

findの結果をgzファイルにする †

gzipは出力ファイル名を指定できない。

• 「gzip -c example.log > example.foo.gz」は可能だが、元ファイルが残る

• example.log-YYYYMMDDhhmmss.gz のように任意の名前で圧縮する

  export DATETIME=$(date +%Y%m%d%H%M%S)
  find /var/log/ -type f -name '*.log' \
    -exec mv {} {}-$DATETIME \; \
    -exec gzip {}-$DATETIME \;

findの結果をtar.gzファイルにする †

tarの引数としてコマンドラインをそのまま渡すと、ファイルが多い場合に失敗する。そのため標準入力として渡す。

• 例：/var/log の指定ファイルだけをまとめる

  sudo bash -c "find /var/log/ -type f -mtime -1 -follow \( -name 'messages*' -o -name 'secure*' \) | tar -cvz -T - --null -f logs.$(hostname -s).$(date +%Y%m%d-%H%M%S).tar.gz"

• /tmp/logsに展開

  mkdir /tmp/logs
  tar xvfz logs.web01.20150616-063248.tar.gz -C /tmp/logs

findで.svnを除外したディレクトリのパーミッションを変更する †

• ディレクトリで、パーミッションが777以外の、.svn, .CVS, .gitを除外し、特定の名前のパーミッションを777に変更する

  find . -type d ! -perm 777 \
  ! \( -path '*.svn*' -prune \) \
  ! \( -path '*.CVS*' -prune \) \
  ! \( -path '*.git*' -prune \) \
  \( -name 'tmp' -or -name 'temp' -or -name 'cache' -or -name 'template_c' -or -name 'log' -or -name 'logs' \) \
  -exec chmod 777 {} \;

findコマンドオプション †

• 最新のファイルを一つ取得

  ls -t $(find /tmp/ -type f -name "*.x86_64.rpm") | head -1

• ファイル名だけを表示(GNU findのみ)

  find . -type f -printf '%f\n'

• 1階層だけを対象に、symlinkを探す。オプションの順序が重要

  find . -maxdepth 1 -type l

• リンク切れのシンボリックリンクを探す。-followを付けると結果が異なる

  find . -xtype l

• 古いファイルと空ディレクトリを削除。"/tmp/*" がポイント。"*"が無いと"/tmp/"まで列挙され、削除しようとする

  find /tmp/* -type f -mtime +5 -delete -o -empty -type d -delete

• 1日以内に変更のあったログを探す

  sudo find /var/log/ -mtime -1 -type f -follow | sort

• 正規表現。デフォルトではEmacsの正規表現でエスケープが多用される。他に「-regextype posix-egrep」等も指定でき、こちらの方がわかりやすい
  • -typeと併用する場合、-typeより前に書かないと警告が出る
  • -regex pattern パス全体とマッチ。大文字小文字を区別する

    # 拡張子が".log", ".bak", ".tmp", ".old" のファイルを検索
    
    # emacs形式
    find . -regex ".*\.\(log\|bak\|tmp\|old\)$" -type f
    
    # posix-egrep形式
    find . -regextype posix-egrep -regex ".*\.(log|bak|tmp|old)$" -type f

  • -iregex pattern パス全体とマッチ。大文字小文字を区別しない

• /var/log/ 以下の"*.log"にマッチする 60分以内に変更があったファイルサイズの合計(MB)

  find /var/log/ -name "*.log" -mmin -60 -type f -printf "%s\n" |awk '{sum += $1; printf("\r%d",sum/1024/1024) }; END{print""};'

• cronで毎日04:05に、/var/log/test 以下の昨日より前の"*.log"ファイルをgz圧縮、90日を経過した"gz"ファイルは削除

  5 5 * * * ( LOG_DIR=/var/log/test; /usr/bin/find $LOG_DIR -follow -name "*.log" -type f -mtime +1 -exec /bin/gzip {} \; ; /usr/bin/find $LOG_DIR -follow -name "*.gz" -type f -mtime +90 -delete; )

• 削除

  # 空のディレクトリを削除
  find . -empty -type d -delete
  
  # ファイルの削除(-deleteオプションが無いバージョンもあるようだ)
  find . -name '*.log' -delete
  
  # 一つずつファイルを削除
  find . -name '*.log' -exec rm {} \;
  
  # 「+」オプション。xargsのように複数指定
  find . -name '*.log' -exec rm {} +

• 日付の範囲指定。例：14日前〜7日前までのファイルを列挙

  touch -t `date "+%m%d0000" --date "14 day ago"` /tmp/_start
  touch -t `date "+%m%d0000" --date "7 day ago"` /tmp/_end
  find -newer /tmp/_start -not -newer /tmp/_end

• -mtime で日、-mmin で分単位で指定できる

  find -mtime -1 1日(24時間)前〜現在 
  find -mtime -3 3日(72時間)前〜現在 
  find -mtime 3  3日(72時間)前〜4日(96時間)前
  find -mtime +3 4日(96時間)前〜過去
  
  # テスト用ファイルを作成
  touch -t `date "+%m%d%H%M" --date "60 min ago"` 60_min_ago.log
  touch -t `date "+%m%d%H%M" --date "1 day ago"` 1_day_ago.log
  touch -t `date "+%m%d%H%M" --date "2 day ago"` 2_day_ago.log
  
  # 70分以前のファイルを検索
  find . -name '*.log' -type f -mmin +70
  ./2_day_ago.log
  ./1_day_ago.log
  
  # 1日以前のファイルを検索
  find . -name '*.log' -type f -mtime +1
  ./2_day_ago.log

• シンボリックリンク以下も検索したい
  • 例：/var/log/ 以下の*.logファイルを探したいが、/home/user1/log にシンボリックリンクが張ってある場合

    ln -s /home/user1/log /var/log/user1
    
    # 通常 /home/user1/log 以下は表示されない
    find /var/log/ -name "*.log"
    
    # 表示される
    find /var/log/ -follow -name "*.log"
    # または
    find -L /var/log/ -name "*.log"

• ファイルサイズを指定
  • -size ファイルサイズc
  • k:KB, c:Byte, 指定せず:ブロックサイズ
  • -size 0c :ゼロバイトのファイル
  • -size +1M :1M B以上のファイル(k, M, Gが使える)
  • -size -500c :500Byte以下のファイル

    find  /var/log -size +1M -print
    find  /home -size 0c -print

find+xargs †

• 特定のprefixのサービスを再起動する。例：iptables, ip6tablesを再起動する

  find /etc/rc.d/init.d/ -name 'ip*' -exec basename {} \; | xargs -i sudo /sbin/service {} restart

• findしてcpやmvしたい場合、xargs -iオプションで"{}"に引数が入る

  find . -name "*.tmp" | xargs -i cp {} /tmp/

• 日本語ファイル名を含むとエラーになる

  find . -perm 544 | xargs chmod 644

• find単体では自動的にクォートしてくれるようで動作する

  find . -perm 544 -exec chmod 644 {} \;

空のディレクトリを探す/削除する †

• 空のディレクトリを探す

  find . -type d -empty

• 空のディレクトリを削除する

  find . -type d -empty -delete

Software

• 自作ソフト
• wiki自作プラグイン
• 利用規定
• ランキング
• 雑誌等掲載履歴

Programming

Game

雑記

連絡先

• MenuBar
• RightBar
• :admin
  

人気の10件

最新の10件