MENU

スクレイピング対象を公式APIに切り替える判断基準

当ページのリンクには広告(PR)が含まれていることがあります。
スクレイピング対象を公式APIに切り替える判断基準のアイキャッチ

HTMLのclass名が変わるたびに取得処理を直しているなら、公式APIで同じ情報を取得できるかを調べる価値があります。ただし、APIがあるというだけで、必要な項目や対象範囲がそろうとは限りません。

画面の値とAPIの値が、同じ意味と範囲かを照合してから切り替えます。構造化されたJSONでも、件数や更新時刻の定義が違えば、比較する結果は変わります。

目次

必要な項目から対応表を作る

今の処理が使う項目を一覧にし、公式APIのどのフィールドに対応するかを調べます。架空の資料監視なら、資料ID、見出し、URL、更新日時が候補です。

見出しに見える文字が、APIでは短縮名や内部名称になっていないかを確認します。画面の表示日時とAPIの更新日時が同じイベントを指すかも、仕様を読みます。欠ける項目があれば、別の項目で代用した事実を曖昧にせず、必要性を見直します。

取得範囲と単位を比べる

ページ送り、カーソル、日付の範囲指定、削除済みデータ、非公開データの扱いを確認します。最初の一回で返る件数だけを、全体件数とみなさないようにします。

画面には公開情報だけが出るのに、認証したAPIでは広い範囲を読める場合もあります。目的に必要な権限と対象に絞り、余分なフィールドをそのまま保存しない設計にします。

APIにも運用上の制約がある

公式APIでも、認証、利用条件、呼び出し上限、データの保存や共有に関する条件を確認します。APIキーが発行されたことだけで、全用途が許可されるわけではありません。料金や上限は、検討時点の公式案内で確かめます。

例えばGitHubのREST APIは、応答ヘッダーやエラーメッセージを使ったレート制限の扱いを説明しています。APIなら制限を考えなくてよい、という判断にはなりません。認証期限、仕様の廃止、バージョン変更の案内も保守対象です。

一件の対応から並行確認へ進む

移行の確認は次のように段階を分けられます。これは特定サービスの手順ではなく、比較を進める設計例です。

  • 同じ対象一件を、現在の出力とAPIの値で照合する。
  • 日付、空欄、数値、URLを、共通の出力形式へ対応させる。
  • 複数ページや対象期間の端を含め、取得範囲を照合する。
  • 件数とキーの重なりを見て、差がある理由を記録する。
  • エラー、上限、認証切れで停止し、基準データを壊さないことを確かめる。

並行確認そのものも取得回数を増やすため、許可された範囲で実施します。差があった場合は、単に古い処理へ戻す前に、どちらの定義や取得範囲が目的に合うかを判断します。

切り替え後に残す記録

利用するエンドポイント、仕様の参照先、認証の管理方法、必要な権限、取得範囲、停止条件を残します。認証情報そのものをREADMEやログへ書く必要はありません。

古い取得処理を止めるタイミングも決めます。新旧が重複して通知したり、同じ出力を上書きしたりしないようにします。APIへ変えた後も、保存結果と業務で使う値が一致する確認は続きます。安定性の期待を、実際の検証結果と分けて記録することが移行判断につながります。

関連する作業

RequestsでAPIを読む基本と、取得処理の運用確認は次の記事へつながります。

参考資料

この記事を書いた人

Watanabeのアバター Watanabe サイト運営者

2020年よりブログ開始。
SEOが思いのほか性にあっていたようで現在に至る。
モットーは「勝率の高い選択をする」
AIは活用するが吉、最後は人間が息を吹き込む。
アートと科学を追求し、日々精進。
―――
収益:6~7桁をウゴウゴ。
サイト:ペラサイト~中規模サイトまで運営中。
案件:1000円以上の案件をメインに取組中。
打ち手:ブラックSEO~ホワイトSEOまで
―――

目次