MENU

内部リンク切れをPythonで確認する基本

当ページのリンクには広告(PR)が含まれていることがあります。
内部リンク切れをPythonで確認する基本のアイキャッチ

内部リンクの点検では、404とリダイレクトを同じエラーにすると修正先を見誤ります。また、403などの拒否を受けたページは、存在しないリンクと断定できません。

応答を状態別に残し、判定できないリンクを切り離します。最初は保存したHTML一つから、同じオリジンの少数のリンクだけを確認する例で試せます。

目次

手元のHTMLから候補を集める

次をlinks.htmlとしてUTF-8で保存します。取得先は手元の確認用サーバーという架空の構成です。

<main>
  <a href="/ok">正常ページ</a>
  <a href="/missing">見つからないページ</a>
  <a href="/go">移転したページ</a>
  <a href="https://external.example.test/">外部リンク</a>
  <a href="#section">ページ内の位置</a>
</main>

127.0.0.1:8000で、/okを200、/missingを404、/goを302で返すテスト用サーバーを別途用意する想定です。このHTMLや次のコードだけで、サーバーは起動しません。

本文を保存せず応答を確認する

requestsとbeautifulsoup4が使える環境で、次をlinks.htmlと同じフォルダーから実行します。一回につき最大五つのURLを確認します。

from pathlib import Path
from urllib.parse import urljoin, urlsplit, urldefrag
import requests
from bs4 import BeautifulSoup

base_url = "http://127.0.0.1:8000/index.html"
origin = urlsplit(base_url)
soup = BeautifulSoup(Path("links.html").read_bytes(), "html.parser")
seen = set()
for link in soup.select("a[href]"):
    href = link["href"].strip()
    if not href or href.startswith("#"):
        continue
    url = urldefrag(urljoin(base_url, href)).url
    parts = urlsplit(url)
    if (parts.scheme, parts.netloc) != (origin.scheme, origin.netloc):
        continue
    if url in seen:
        continue
    if len(seen) >= 5:
        raise RuntimeError("確認上限に達しました")
    seen.add(url)
    with requests.get(url, stream=True, timeout=(3, 10), allow_redirects=False) as response:
        status = response.status_code
        if status in {403, 429}:
            print("要確認・停止", status, url)
            break
        if status in {404, 410}:
            result = "見つからない"
        elif 300 <= status < 400:
            result = "リダイレクト要確認"
        elif 200 <= status < 300:
            result = "応答あり"
        else:
            result = "判定保留"
        print(result, status, url)

HTTPの本文を保存せず、応答を閉じて次へ進みます。リダイレクトを自動で追わないため、移転先へ追加のアクセスをする例ではありません。3xxを検出した場合は、Locationの値と許可する範囲を別に確認します。

応答ありと内容が正しいことは別

HTTP 200でも、ページの中身がエラー案内やログイン画面という場合があります。このコードの応答ありは期待する記事を表示した確認ではありません。実サイトの点検では、必要に応じて見出しや最終URLも照合します。

ページ内アンカーはここでは除外しています。#sectionの要素が本当にあるかを調べるには、対象HTMLのidなどを確認する別の処理が必要です。HTMLのbase要素やJavaScriptが作るリンクも、この最小例では扱いません。

自サイトの点検へ広げるとき

対象範囲、上限、アクセス間隔、停止条件を決めます。リンクを見つけた順に無制限で巡回する構成から始めず、確認したURLとHTTP状態を残します。拒否や制限が出たらその理由を調べ、存在しないリンクとして一括修正しないようにします。

ネットワークの一時的な失敗も、記事が削除された証拠とは限りません。修正候補を作り、元記事とリンク先の内容を確認してから編集へ進めます。

関連する作業

リンクを選ぶセレクタと、Requestsで応答を扱う基本も合わせて確認できます。

参考資料

この記事を書いた人

Watanabeのアバター Watanabe サイト運営者

2020年よりブログ開始。
SEOが思いのほか性にあっていたようで現在に至る。
モットーは「勝率の高い選択をする」
AIは活用するが吉、最後は人間が息を吹き込む。
アートと科学を追求し、日々精進。
―――
収益:6~7桁をウゴウゴ。
サイト:ペラサイト~中規模サイトまで運営中。
案件:1000円以上の案件をメインに取組中。
打ち手:ブラックSEO~ホワイトSEOまで
―――

目次