MENU

差分収集の基本|前回取得データと比べて更新だけ見る方法

当ページのリンクには広告(PR)が含まれていることがあります。
差分収集の基本|前回取得データと比べて更新だけ見る方法のアイキャッチ

毎回同じページを確認する処理では、取得した全文を通知すると変化を見つけにくくなります。前回と今回をIDで対応させ、業務で必要な項目だけを比べると、追加と更新を分けられます。

目次

比較する列と前回の保存先

商品なら価格と在庫、案内ページなら本文と公開日など、何の変更を知りたいかを先に決めます。取得時刻や表示順を毎回の比較へ入れると、内容が同じでも変更扱いになります。

前回のデータには、取得日時、対象範囲、成功した件数、使った抽出方法も残します。途中で取得に失敗したデータを、正常な前回データへ上書きしないようにします。

追加と更新を分ける例

次は架空のIDと価格を比べるPythonの例です。Web接続やファイルの更新は行いません。

before = {"A01": {"price": 1000}, "B02": {"price": 2000}}
after = {"A01": {"price": 1200}, "C03": {"price": 1500}}

added = sorted(after.keys() - before.keys())
missing = sorted(before.keys() - after.keys())
changed = sorted(
    key for key in before.keys() & after.keys()
    if before[key] != after[key]
)
print("追加:", added)
print("更新:", changed)
print("今回見つからない:", missing)

期待する結果は、追加C03、更新A01、今回見つからないIDがB02です。辞書のキー同士の集合演算についてはPython公式資料で確認できます。

見つからない行を削除と決めつけない

一覧のページ送り、対象期間、権限が変わっても、前回あった行が消えたように見えます。取得範囲がそろうまでは削除と確定しないことが、この比較の前提です。

応答がエラーページだった、必須項目が取れていない、件数が急減した、といった場合は比較を保留します。取得が正常かを調べる処理と、差分を通知する処理を分けてください。

初回と抽出方法の変更

初回は前回データがありません。「すべて新着」と通知するか、基準データを保存して次回から通知するかを決めます。どちらにしたかをログにも残します。

抽出する列や空白処理を変えると、データの内容が変わっていなくても差分が増えることがあります。変更前の取得結果を残し、少数のページで比較してから新しい基準へ切り替えると、変更理由を追えます。

通知と基準データの更新

差分が見つかったこと、通知したこと、基準データを更新したことを別々に記録します。通知だけが失敗した場合に、差分まで失われないようにするためです。

この例は辞書の比較だけです。実際の取得、保存、通知をつなぐときは、再実行時にどこから再開するかも確認してください。

通知の判断はサイト更新の定期監視、記録はPythonのログの残し方につながります。

この記事を書いた人

Watanabeのアバター Watanabe サイト運営者

2020年よりブログ開始。
SEOが思いのほか性にあっていたようで現在に至る。
モットーは「勝率の高い選択をする」
AIは活用するが吉、最後は人間が息を吹き込む。
アートと科学を追求し、日々精進。
―――
収益:6~7桁をウゴウゴ。
サイト:ペラサイト~中規模サイトまで運営中。
案件:1000円以上の案件をメインに取組中。
打ち手:ブラックSEO~ホワイトSEOまで
―――

目次