Linux：sedでapacheアクセスログを整形
Last-modified: 2014-01-21 (火) 17:08:23 (3746d)
Top / Linux：sedでapacheアクセスログを整形
Linux：sedでapacheアクセスログを整形 †
apacheのアクセスログの整形はニーズがありそうなので、独立した記事にします。
apacheのアクセスログ（combined）からアクセス時刻とURL（パラメータを除く）とステータスコードとレスポンスタイム（ms）を抽出する。 †
こんな感じで行けました！
cat access_log | sed -n -e 's/.*\[\([0-9]\{2\}\)\/\([A-Za-z]\{3\}\)\/\([0-9]\{4\}\):\([^ ]*\) .*"[A-Z]\{3,6\} \([^?]*\).*" \([0-9]\{3\}\) .* \([0-9]*\)[0-9]\{3\}$/\3\/\2\/\1 \4\t\5\t\6\t\7/p'
ポイントは以下の通り
- Excelに喰わせてそのまま処理できるように、日付フォーマットを整形
- URLそのまま出すと駄々長いため、?より前を出力（パラメータはカット）
- レスポンスタイムはマイクロ秒で出力されるため、後ろ3桁を切り捨て（誤差とする）
出力結果サンプルは以下の通り。
2013/Nov/26 08:23:18 /access_location 200 627 2013/Nov/26 08:23:18 /access_location 200 824 2013/Nov/26 08:23:18 /access_location 200 604
うむ、なかなか便利ｗ
apacheのアクセスログからリファラーだけ取り出す。 †
customlogの出力仕様によりますが、東方のログの場合、全体の項目としては8項目目、""（ダブルクオート）でくくられている項目としては2項目目がリファラーとなる場合のサンプルです。
sed -e 's/.*"\(.*\)".*"\(.*\)".*"\(.*\)".*/\2/g' accesslog
かなり強引wですが、とりあえず取れましたw
apacheのcookieログを設定して、DrupalのセッションIDとアクセスパスを出力 †
こんな感じのログ設定で
LogFormat "%t %T %{cookie}i %{Referer}i -> %U" cookie
出力されたログをこんな感じのsedに喰わせるとちょっと幸せになれるかも。
sed -n -e 's/.*\(SESS[0-9a-zA-Z]\{32\}=[^;]*\);.*-> \(.*\)$/\1 \2/p' logfile
月をJan⇒01に変換 †
長くて毎回作るのが面倒なので、正規表現だけ貼り付けます。
's/Jan/01/;s/Feb/02/;s/Mar/03/;s/Apr/04/;s/May/05/;s/Jun/06/;s/Jul/07/;s/Aug/08/;s/Sep/09/;s/Oct/10/;s/Nov/11/;s/Dec/12/'
