毎回同じページを確認する処理では、取得した全文を通知すると変化を見つけにくくなります。前回と今回をIDで対応させ、業務で必要な項目だけを比べると、追加と更新を分けられます。
比較する列と前回の保存先
商品なら価格と在庫、案内ページなら本文と公開日など、何の変更を知りたいかを先に決めます。取得時刻や表示順を毎回の比較へ入れると、内容が同じでも変更扱いになります。
前回のデータには、取得日時、対象範囲、成功した件数、使った抽出方法も残します。途中で取得に失敗したデータを、正常な前回データへ上書きしないようにします。
追加と更新を分ける例
次は架空のIDと価格を比べるPythonの例です。Web接続やファイルの更新は行いません。
before = {"A01": {"price": 1000}, "B02": {"price": 2000}}
after = {"A01": {"price": 1200}, "C03": {"price": 1500}}
added = sorted(after.keys() - before.keys())
missing = sorted(before.keys() - after.keys())
changed = sorted(
key for key in before.keys() & after.keys()
if before[key] != after[key]
)
print("追加:", added)
print("更新:", changed)
print("今回見つからない:", missing)
期待する結果は、追加C03、更新A01、今回見つからないIDがB02です。辞書のキー同士の集合演算についてはPython公式資料で確認できます。
見つからない行を削除と決めつけない
一覧のページ送り、対象期間、権限が変わっても、前回あった行が消えたように見えます。取得範囲がそろうまでは削除と確定しないことが、この比較の前提です。
応答がエラーページだった、必須項目が取れていない、件数が急減した、といった場合は比較を保留します。取得が正常かを調べる処理と、差分を通知する処理を分けてください。
初回と抽出方法の変更
初回は前回データがありません。「すべて新着」と通知するか、基準データを保存して次回から通知するかを決めます。どちらにしたかをログにも残します。
抽出する列や空白処理を変えると、データの内容が変わっていなくても差分が増えることがあります。変更前の取得結果を残し、少数のページで比較してから新しい基準へ切り替えると、変更理由を追えます。
通知と基準データの更新
差分が見つかったこと、通知したこと、基準データを更新したことを別々に記録します。通知だけが失敗した場合に、差分まで失われないようにするためです。
この例は辞書の比較だけです。実際の取得、保存、通知をつなぐときは、再実行時にどこから再開するかも確認してください。
通知の判断はサイト更新の定期監視、記録はPythonのログの残し方につながります。
