– スクレイピング– tag –

imgのsrc・srcset・独自のdata属性を見分け、画像URLの候補を列挙します。相対URLの変換と、表示中の画像・保存できる権利の確認を分ける例です。

Requestsのencoding・content・textを分けて文字化けの場所を調べます。HTMLの文字コード指定を確認し、UTF-8の架空ページを正しく保存する例です。

次ページリンクをrel属性から探し、相対URLを解決して順に取得する例です。訪問済みURL・同一オリジン・ページ数上限を使い、無限巡回を防ぎます。