MENU

Pythonで処理ログを日付別に保存する運用テンプレ

当ページのリンクには広告(PR)が含まれていることがあります。
Pythonで処理ログを日付別に保存する運用テンプレのアイキャッチ

毎回のログが一つのファイルへ積み重なると、ある日の失敗を探しにくくなります。日ごとに短い処理を起動するツールなら、開始日をファイル名にし、その日に動いた結果を追記する方法があります。

ログの日付をいつ決めるかを、処理の寿命に合わせます。短いスクリプトの開始時に決める方法と、起動したまま日付が変わる処理では、必要な仕組みが違います。

目次

一回の実行で使うログを決める

次は短時間で終わるCSV読み取りの例です。ログ名は実行開始時点のローカル日付から決め、同じ日のファイルへ追記します。入力はスクリプトと同じフォルダーのinput.csvです。

部門,金額
A,100
B,70

成功と失敗を同じ実行IDで記録する

import csv
import logging
import uuid
from datetime import date
from pathlib import Path

base = Path(__file__).resolve().parent
log_dir = base / "logs"
log_dir.mkdir(exist_ok=True)
log_path = log_dir / f"{date.today().isoformat()}.log"
run_id = uuid.uuid4().hex[:12]

logger = logging.getLogger("daily_csv")
logger.setLevel(logging.INFO)
logger.propagate = False
handler = logging.FileHandler(log_path, encoding="utf-8")
handler.setFormatter(logging.Formatter("%(asctime)s %(levelname)s %(message)s"))
logger.addHandler(handler)
try:
    logger.info("start run=%s input=input.csv", run_id)
    with (base / "input.csv").open(encoding="utf-8-sig", newline="") as f:
        rows = csv.reader(f)
        next(rows, None)
        count = sum(1 for _ in rows)
    logger.info("complete run=%s rows=%s", run_id, count)
    print(log_path)
except Exception:
    logger.exception("failed run=%s", run_id)
    raise
finally:
    logger.removeHandler(handler)
    handler.close()

入力例ではrows=2の完了記録が残ります。これはヘッダー以外の行数を数えるだけで、金額の妥当性や必須列を検査するコードではありません。処理の成功条件を増やす場合は、その検査が終わってからcompleteを記録します。

例外はログへ残した後に再送出しています。失敗したのに正常終了の表示で終えたり、空の出力で処理を続けたりはしていません。

日付とタイムゾーンの前提

date.todayは実行環境の現在のローカル日付を使います。同じ業務でも別のタイムゾーンの環境で動かすと、ファイルの日付が変わる場合があります。業務上の日付を統一するなら、そのタイムゾーンと日付の決め方を仕様にします。

このコードは起動時にファイル名を一度決めます。日付をまたいで動いた場合は、終了時のログも開始日に選んだファイルへ入ります。長時間常駐するツールで日ごとの切り替えが必要なら、時間によるローテーションを行うハンドラーなどを別に検討します。

運用で決める保存と確認

ログをどこまで保持するか、誰が読むか、容量が増えた場合にどう扱うかを決めます。この例には古いログの削除や自動圧縮を入れていません。

共有先のパス、顧客名、認証情報をメッセージへ入れる場合は、必要性と閲覧範囲を確認します。例外の詳細にも入力パスなどが入ることがあるため、ログをそのまま公開する用途には向きません。

正常な入力、入力がない場合、読み取りで止まる場合を分けて試し、ログの場所と終了状態を照合します。同じ日の追記でも実行IDがあれば、開始から終了までの記録を結び付けられます。

関連する作業

loggingの基本と、定期実行時に確認するパス・起動条件は次の記事につながります。

参考資料

この記事を書いた人

Watanabeのアバター Watanabe サイト運営者

2020年よりブログ開始。
SEOが思いのほか性にあっていたようで現在に至る。
モットーは「勝率の高い選択をする」
AIは活用するが吉、最後は人間が息を吹き込む。
アートと科学を追求し、日々精進。
―――
収益:6~7桁をウゴウゴ。
サイト:ペラサイト~中規模サイトまで運営中。
案件:1000円以上の案件をメインに取組中。
打ち手:ブラックSEO~ホワイトSEOまで
―――

目次