Memo/Perl/OneLiner

ワンライナー †

• 記事
  • ワンライナーのための perl コマンドラインオプション入門 - Qiita
  • 標準perlだけで使える1行野郎 オプションの説明等が豊富

• -e 'script' : scriptを実行
• -a @F に行を分割して入る
• -F: -aで行を分割する時の文字列指定。例 ":"
• -i 入力ファイルを出力結果で上書き

• -n : ループして実行

  while (<>) {
    script
  }

• -p : ループして実行、print

  while (<>) {
    script
  } continue {
    print;
  }

複数スペース区切りから、指定カラムの値を抽出 †

• TABLE形式で、整形済みテキストから、指定カラムのみを出力したい時
• 2文字以上のスペースで区切られた行から、特定のカラムのみ出力。(/proc/<pid>/limits等)

  echo "key name1  value2  value3" | perl -ne 's/[ ]{2,}/\t/g;print;' | cut -f 2
  
  value2

---

1行の最大byte数を調べる †

• 巨大なログがあって、1行の最大byte数得る。
• 例: 最大byte(改行含む),該当行の512文字。

  cat /path/to/example.log | perl -ne 'BEGIN{$max=0;$line} $len=length; if($len > $max){$max=$len;$line=$_;} END{print "$max," . substr($line,0,512) . "\n";}'

---

SQLの分析 †

• SQLから指定のkey=valueを抽出。シングルクオートを$sqとして指定するのがポイント

  echo "SELECT name, password FROM user WHERE id='abc12823' and password='k#eyAW37';" | perl -ne 'BEGIN {$sq="\x27";} print "$1\n" if /(id\s*=\s*$sq[^$sq]*$sq)/g'
  id='abc12823'

---

起動オプション †

perlrun - Perl インタプリタの起動方法 - perldoc.jp

---

URI文字列の分解 †

• 記事
  • URIパースモジュールのベンチマーク - Perl勉強メモ　アルパカDiary出張版

• URI::Split - URI 文字列をパースおよび構成する - perldoc.jp
  • URIより速いようだ

    echo "http://perldoc.jp/docs/modules/URI-1.35/URI/Split.pod" | perl -MURI::Split=uri_split -wne 'my($scheme, $auth, $path, $query, $frag)=uri_split($_);print $auth'
    perldoc.jp

• URI - (絶対や相対の)統一資源識別子(Uniform Resource Identifiers) - perldoc.jp

  echo "http://perldoc.jp/docs/modules/URI-1.35/URI/Split.pod" | perl -MURI -wne 'print URI->new($_)->host'
  perldoc.jp

---

日付と時刻 †

• HTTPヘッダの「Last-Modified:」をGMTからJSTに変換して表示。「-u」でUTC表示

  curl -s -I https://ajax.googleapis.com/ajax/libs/jquery/3.1.0/jquery.min.js | perl -ane "if(/Last-Modified: /){print $';}" | xargs -i date '+%Y-%m-%d %H:%M:%S %Z' -d {}
  2016-07-12 16:12:44 JST

---

複数行マッチと置換 †

• "/match/s" で "." が改行文字にマッチする。".*?" で最短一致

  echo -e "test\n3600.00 secs (1.00 hrs)" | perl -0ne 'if(/test.*?(\d+\.\d+)\s*hrs/s){print "$1";}'
  1.00

• "-0"で複数行マッチ。"s///" で置換。"/s"で"."が改行文字にマッチする。".+?" で最短一致

  echo -e "123\n456\n789" | perl -0pe 's/3.+?45//s'
  126
  789

---

アクセスログの集計 †

• 1時間毎のログの件数

  perl -ne 'if(m#01/Aug/2013:(\d+)#){$c{$1}++}END{for(keys %c){print "$_ $c{$_}\n"} }' /var/log/httpd/access_log | sort -n
  
  # 結果 時 件数
  01 113
  02 243

• 1分毎のログの件数

  perl -ne 'if(m#01/Aug/2013:(\d+:\d+)#){$c{$1}++}END{for(keys %c){print "$_ $c{$_}\n"} }' /var/log/httpd/access_log | sort -n
  
  # 結果 時:分 件数
  01:58 5
  01:59 3
  02:00 5

---

BEGIN と ENDブロック †

• BEGIN {...} 一番初めに実行される
• END{...} 最後に実行される

• 例:2行目までの合計

  vim /tmp/test.log
  ----
  1
  2
  3
  4
  5
  ----
  
  cat /tmp/test.log | perl -ne 'BEGIN{$sum=0;} if($. <= 2){$sum+=$_;} END{print $sum;}'
  3

---

swapサイズ †

• swapサイズ(MB)

  perl -e '$m=readpipe("free -m");$m=~/Swap:\s+(\d+)/i;print int($1)'

---

メモリ容量/空き容量 †

• メモリ容量(MB)

  perl -e '$m=readpipe("free -m");$m=~/Mem:\s+(\d+)/i;print int($1)'

• メモリ空き容量(MB)

  perl -e '$m=readpipe("free -m");$m=~/cache:\s+(\d+)\s+(\d+)/i;print int($2)'

数値の比較 †

• 例：ログファイルの「 0.0000 」という部分のみを取り出し、2以上の行数をカウント

  cat example.log | perl -ane 'if(/ (\d+\.\d+) /) { if($1 >= 2) { print "$1\n";} }' | wc -l

---

置換 †

• 改行コード。CRLF(windows)からLF(unix)へ変換

  perl -p -i -e "s/\r\n/\n/g" *.sh

• 先頭のタブの削除。バックアップは作らない。バックアップを作る場合は「-i.bak」

  perl -p -i -e "s/^\t+//g" *.txt

• コメント行の削除と追加

  # ansible.cfgの「#control_path」「control_path」を削除
  ag control_path -G ansible.cfg -l | xargs -i perl -p -i -e "s/^[\#]*control_path.+[\r\n]+//g" {}
  
  # ansible.cfgの「control_path」を追加
  ag -g ansible.cfg -l | xargs -i perl -p -i -e "s#^\[ssh_connection\][\r\n]+#$&control_path = %(directory)s/%%C\n#g" {}

---

バージョン文字列の抽出 †

• bash

  bash --version | perl -ane 'if($.==1 && /version (\d+)\./){ print $1;}'
  # 3

• CentOS

  perl -ane '/CentOS release ([5-6])|Red Hat Enterprise Linux .* ([5-6])/; print $1' /etc/redhat-release
  # 6

• Apache

  httpd -v | perl -ane 'if( $F[2]=~/Apache\/(\d+\.\d+)/ ){ print $1; }'
  # 2.2

---

ディスクサイズ/空きディスクサイズ †

• "-P"オプションで常に1行で表示
  • /mntのディスクサイズをMBで取得

    df -P -m /mnt 2>&1 | perl -ane 'if($.==2) {print $F[1];}'

  • /mntの使用量をMBで取得

    df -P -m /mnt 2>&1 | perl -ane 'if($.==2) {print $F[2];}'

  • /mntの空きをMBで取得

    df -P -m /mnt 2>&1 | perl -ane 'if($.==2) {print $F[3];}'

---

CSV †

• 0列目=a, 1列目=bと一致する行の0列目を改行無しで取得

  perl -F, -ane 'if($F[0] eq "a" && $F[1] eq "b") { $F[0]=~s/\x0D?\x0A?$//;print $F[0]; }' sample.csv

---

行単位、パラグラフ単位、ファイル単位の指定 †

#ファイルを行単位でソートします 
perl  -e 'print sort <>' file 

#ファイルをパラグラフ単位でソートします 
perl  -00 -e 'print sort <>' file 

#複数ファイルをファイル毎比較してソートしてから１本のファイルとして表示し 
ます 
perl  -0777 -e 'print sort <>' file1 file2

Software

• 自作ソフト
• wiki自作プラグイン
• 利用規定
• ランキング
• 雑誌等掲載履歴

Programming

Game

雑記

連絡先

---

• MenuBar
• RightBar
• :admin
  

人気の10件

最新の10件

---