内部リンクの点検では、404とリダイレクトを同じエラーにすると修正先を見誤ります。また、403などの拒否を受けたページは、存在しないリンクと断定できません。
応答を状態別に残し、判定できないリンクを切り離します。最初は保存したHTML一つから、同じオリジンの少数のリンクだけを確認する例で試せます。
手元のHTMLから候補を集める
次をlinks.htmlとしてUTF-8で保存します。取得先は手元の確認用サーバーという架空の構成です。
<main>
<a href="/ok">正常ページ</a>
<a href="/missing">見つからないページ</a>
<a href="/go">移転したページ</a>
<a href="https://external.example.test/">外部リンク</a>
<a href="#section">ページ内の位置</a>
</main>
127.0.0.1:8000で、/okを200、/missingを404、/goを302で返すテスト用サーバーを別途用意する想定です。このHTMLや次のコードだけで、サーバーは起動しません。
本文を保存せず応答を確認する
requestsとbeautifulsoup4が使える環境で、次をlinks.htmlと同じフォルダーから実行します。一回につき最大五つのURLを確認します。
from pathlib import Path
from urllib.parse import urljoin, urlsplit, urldefrag
import requests
from bs4 import BeautifulSoup
base_url = "http://127.0.0.1:8000/index.html"
origin = urlsplit(base_url)
soup = BeautifulSoup(Path("links.html").read_bytes(), "html.parser")
seen = set()
for link in soup.select("a[href]"):
href = link["href"].strip()
if not href or href.startswith("#"):
continue
url = urldefrag(urljoin(base_url, href)).url
parts = urlsplit(url)
if (parts.scheme, parts.netloc) != (origin.scheme, origin.netloc):
continue
if url in seen:
continue
if len(seen) >= 5:
raise RuntimeError("確認上限に達しました")
seen.add(url)
with requests.get(url, stream=True, timeout=(3, 10), allow_redirects=False) as response:
status = response.status_code
if status in {403, 429}:
print("要確認・停止", status, url)
break
if status in {404, 410}:
result = "見つからない"
elif 300 <= status < 400:
result = "リダイレクト要確認"
elif 200 <= status < 300:
result = "応答あり"
else:
result = "判定保留"
print(result, status, url)
HTTPの本文を保存せず、応答を閉じて次へ進みます。リダイレクトを自動で追わないため、移転先へ追加のアクセスをする例ではありません。3xxを検出した場合は、Locationの値と許可する範囲を別に確認します。
応答ありと内容が正しいことは別
HTTP 200でも、ページの中身がエラー案内やログイン画面という場合があります。このコードの応答ありは期待する記事を表示した確認ではありません。実サイトの点検では、必要に応じて見出しや最終URLも照合します。
ページ内アンカーはここでは除外しています。#sectionの要素が本当にあるかを調べるには、対象HTMLのidなどを確認する別の処理が必要です。HTMLのbase要素やJavaScriptが作るリンクも、この最小例では扱いません。
自サイトの点検へ広げるとき
対象範囲、上限、アクセス間隔、停止条件を決めます。リンクを見つけた順に無制限で巡回する構成から始めず、確認したURLとHTTP状態を残します。拒否や制限が出たらその理由を調べ、存在しないリンクとして一括修正しないようにします。
ネットワークの一時的な失敗も、記事が削除された証拠とは限りません。修正候補を作り、元記事とリンク先の内容を確認してから編集へ進めます。
関連する作業
リンクを選ぶセレクタと、Requestsで応答を扱う基本も合わせて確認できます。
