ページ一覧取得中です
しばらくお待ちください...

Webページ一覧取得ツール

ページタイトル列に表示する際、titleからこれらの文言を削除します
「階層に合わせる」を選択すると、ページタイトルが階層に応じて列をずらして表示されます(CSV出力時も反映されます)

ご利用にあたって

使い方

  1. 取得するURL(ドメイン)に、クロールを開始するURLを入力します。サブディレクトリまで入力すると、そのページ以下のページを取得します
  2. 下層ページを取得しないURLに、下層ページを取得しないURLを入力します(複数可)
  3. titleから除外する文言に、ページタイトルから削除したい文言を入力します(複数可)
  4. 列構成(ページタイトルの表示形式)を選択します:
    • 通常:ページタイトルが1行で表示されます(ページタイトル、URL、title(SEO)、description(SEO)、階層の列構成)
    • 階層に合わせる:ページタイトルが階層に応じて列をずらして表示されます(第1階層、第2階層、第3階層...、URL、title(SEO)、description(SEO)の列構成)
  5. ページ数確認ボタンをクリックして、取得対象のページ数を確認します
  6. ページ一覧表示ボタンをクリックして、ページ一覧を取得します
  7. 取得完了後、CSVダウンロードボタンで結果をCSVファイルとしてダウンロードできます。CSVファイル名は変更可能です

注意事項

  • 取得できるページ数は最大100件です。100件を超える場合は、除外URLを設定して分割して取得してください
  • 本ツールは自動的にrobots.txtを確認し、Disallowで指定されたパスはクロールしません。robots.txtが存在しない、または取得できない場合はすべてのページをクロールします
  • robots.txtでCrawl-delayが指定されている場合は、その値に従ってリクエスト間隔を調整します
  • httpとhttpsは同一ページとして扱われ、httpsが優先表示されます
  • index.htmlやindex.phpで終わるURLは、それらを省略した形式で表示されます
  • パラメータ付きURL(?以降)は無視され、同一ページとして扱われます
  • 階層はURLパスの深さに基づいて計算されます(ルート=1、1階層下=2)
  • サーバーへの負荷を考慮し、リクエスト間隔を空けています
  • 大量のページを取得する場合は、時間がかかる場合があります

免責事項

  • 本ツールは現状のまま提供され、取得したデータの正確性・完全性について一切保証いたしません
  • 本ツールの利用は利用者の判断と責任において行ってください
  • 本ツールの利用により、対象サイトに過度な負荷をかけることのないようご注意ください
  • 対象サイトのrobots.txtや利用規約を遵守し、法令に違反する利用は禁止します
  • 本ツールの利用により生じた損害(直接・間接を問わず)について、一切の責任を負いません
  • 本ツールは予告なく中断・停止・変更される場合があります
  • 取得したデータの利用は利用者の責任において行ってください