クロール（クローリング）とは

SEOにおける「クロール（Crawl）」とは、検索エンジンのロボット（クローラー）が
ウェブサイトのページを巡回し、そのページの内容を収集するプロセスを指します。

クローラーは、ボット（bot）、ロボット（robot）、スパイダー（spider）とも呼ばれます。

クローラーが読み込むファイルは

・HTMLファイル
・CSSファイル
・JavaScriptファイル
・画像ファイル（JPEG, PNG, GIF, WebP,SVGなど）
・動画ファイル（MP4, WebM, AVIなど）
・オフィス文書（Word/Excel/PowerPoint）
・PDF
等、さまざまなファイルを読み込みます。

第一段階：クロール（Crawl）

クロールは、検索エンジンがウェブサイトをインデックス（索引）に追加します。
クロールされなければインデックスされません。
検索結果に表示するための第一段階です。

第二段階：インデックス（Indexing）

収集した情報は、検索エンジンのデータベースに登録され、インデックスと呼ばれます。
ウェブページは検索エンジンにインデックスされなければ検索結果に表示されず、
クロールされることはSEOにおいて必要不可欠です。

第三段階：ランキング（Ranking）アルゴリズムによる評価

検索エンジンは、インデックスに保存されたページをアルゴリズムによって評価します。
この評価には、ページの関連性、信頼性、ユーザーエクスペリエンス（UX）、
ページの質や量、コンテンツの新鮮さなど多くの要素が含まれます。

第四段階：表示（Serving/Display）

検索結果への表示: ユーザーが特定のクエリを検索した際に、
ランキングに基づいて最も適切だと判断されたページが検索結果に表示されます。

検索エンジンはページのタイトル、URL、メタディスクリプション、
または自動生成されたテキストスニペットを表示します。

これにより、ユーザーはページの内容を予測し、クリックするかどうかを判断します。

クローラーにクロールしてもらうには

・ サイトマップを送信する

XMLサイトマップを作成し、Google Search Consoleで検索エンジンに送信することで、
クローラーに対してウェブサイトの全体構造や重要なページを知らせます。

サイト内のすべてのページがクローラーに認識されやすくなり、
特に深い階層にあるページや、新しいページが見逃されるリスクを減らします。

・ URL検査でURLを送信する

Google Search Consoleの「URL検査ツール」を使用して、
特定のページのURLを手動で送信し、クロールとインデックス化をリクエストします。

新規ページや、更新されたページがすぐにクロールされ、
検索結果に反映されるようにするための即効性のある方法です。

特に、重要な更新を迅速に検索エンジンに知らせたい場合に有効です。

・ Webサイトの記事数を増やす

新しいコンテンツを定期的に追加することで、クローラーが
ウェブサイトを頻繁に訪れるようにします。

コンテンツが増えると、サイトのボリュームが大きくなり、
クローラーがサイトに再訪する頻度が高まります。

また、クローラーが定期的に新しいコンテンツを見つけることで、インデックス化が促進されます。

・ 内部リンクを相互に結ぶ

サイト内のページ同士を内部リンクで結び、クローラーがスムーズに
サイト内を巡回できるようにします。

特に、重要なページへのリンクを増やすことで、そのページがクロールされやすくなります。

内部リンクを適切に設定することで、クローラーがページ間を効率的に移動でき、
インデックスされるページ数が増加します。

内部リンクはユーザーエクスペリエンスも向上します。

クロールについての主要なポイント

クローラーの役割

クローラーはウェブ上のリンクをたどりながら、新しいページや更新されたページを見つけ、
その内容を分析します。GoogleのクローラーであるGooglebotが代表的な例です。

クロール頻度と優先度

クローラーは全てのページを同じ頻度でクロールするわけではありません。

検索エンジンは、サイトの重要度や更新頻度、リンクの質などに基づいて、
どのページを優先的にクロールするかを決定します。

robots.txtファイル

サイトオーナーはrobots.txtというファイルを使用して、クローラーに対してクロールしてほしい、
またはしてほしくないページを指定できます。

このファイルを適切に設定することで、クローラーの動きを制御できます。

クロールバジェット

クロールバジェットとは、クローラーが特定のサイトに費やすリソースのことを指します。

大規模なサイトでは、クロールバジェットを効率的に使うために、
重要なページにクロールが集中するように工夫が必要です。

インデックス化

クローラーがページをクロールした後、そのページがインデックスに
追加されるかどうかが決定されます。

インデックスに追加されないページは、検索結果に表示されません。

クロールエラー

クローラーがページにアクセスできない場合、クロールエラーが発生します。

例えば、ページが存在しない（404エラー）、
サーバーエラー（500エラー）などがあります。

これらのエラーを修正することで、クロールの効率を向上させることができます。

クロールは、検索エンジンがウェブサイトのコンテンツを理解し、
ユーザーに適切な検索結果を提供するための重要なプロセスです。

SEOの観点からは、クロールの効率を高めるためにサイト構造を最適化し、
重要なページが確実にクロールされるようにすることが重要です。