クローラーとは？Googleの検索エンジンの仕組みを解説
Webサイト運営を始めた方、これから始めようとしている方は「クローラー」という言葉を聞いたことがあるでしょう。SEO対策を通じて集客をするにはクローラーへの理解が必要です。
そこで今回は、このクローラーについて解説します。正しい知識を身につけてWeb集客成功までの道のりを最短距離で進んでいきましょう。
目次
クローラーとは、検索エンジンがネットで公開されているサイトの検索順位を決定するための情報を周期的に収集するための巡回プログラムのことです。
集められたサイト情報は自動的に検索データベースに登録されて（これをインデックスと呼びます）、その情報を元に検索順位が決定されます。
Googleのクローラーなら「Googlebot」、Bing（Microsoft運営の検索エンジン）のクローラーなら「Bingbot」、Yahoo!のクローラーなら「Yahoo Slurp」と呼ばれています。
ただしWebサイト運営においてクローラーといえばGooglebotを指すことが大半となります。なぜなら、日本の検索エンジンシェアのほとんどはGoogleが握っているからです。
出典：「Desktop Search Engine Market Share Japan」statcounter GlobalStats
ちなみにYahoo!の検索エンジンはGoogleをベースにしているので、Googleは90％以上のシェアを獲得しています。従ってこの記事もクローラーは、Googlebotを指すことを前提として記述します。
Webサイトを検索上位へ表示させるためのSEO対策では「クローラビリティ」を意識することが大切です。クローラービリティとはいわば「クローラーがWebサイトを巡回しやすくすること」を意味します。
クローラーがWebサイトの隅々までクロール（巡回）されて情報がもれなくインデックスされることで、サイトが正しく評価されて検索順位が上がることが期待できます。
そのためには、Webサイトの構造を整理したり、クローラーに対してインデックスのリクエストを送信したりとクローラビリティのテクニックが欠かせません。
クローラビリティを意識するか否かでSEO効果は大きく変わるので、次項で紹介するクローラビリティを高めるポイントを実践しましょう。
では、クローラビリティを高めるポイントをご紹介します。
ディレクトリとはWebサイトの階層構造のことです。トップページを1階層目として、以下の階層を3階層構造にするとクローラビリティが高まるとされています。
つまり「トップページ＞カテゴリページ＞コンテンツページ」という構成が一般的な階層構造になることが多いです。
また、2回クリックで全てのコンテンツに辿り着けるよう設計すると、クローラビリティだけでなくユーザーの利便性も向上します。
SEO対策のディレクトリについては以下の記事で詳しく解説しています。
関連記事：ディレクトリ構造とは？SEOに有効な構造について解説
コンテンツに内部リンクを設置するとクローラーの回遊率がアップするので、積極的に内部リンクを設置しましょう。
ただし、無意味な内部リンクは逆効果なので注意してください。自然な流れで他のコンテンツを紹介するように設置するのがベストです。
内部リンクを設置する際はテキストがおすすめです。クローラーは画像よりもテキストの方が理解度が高いため、クローラビリティが向上します。
アンカーテキストとは「アンカータグ（<a href=””>～</a>）」で囲まれたテキストのことです。
いわゆるリンク付きのテキストとなります。アンカーテキストを設置する際は「こちら」など抽象的な表現ではなく、具体的な表現でクローラーの理解度をアップさせましょう。
アンカーテキストについては以下の記事で詳しく解説しています。
関連記事：アンカーテキストとは？最適化に向けた取り組み手順もご紹介
「パンくずリスト」とはコンテンツの上部または下部に表示される、ハイパーリンクで作られたナビゲーション表示です。
例えば、以下のコンテンツでは赤枠で囲まれば部分がパンくずリストに該当します。
パンくずリストを設定するとクローラーは現在どの階層にいるかを認識しやすくなり、クローラビリティが向上する可能性があります。
またユーザーから見た場合も、現在表示されているコンテンツのサイト内での場所が理解しやすくなります。
詳しくは以下の記事で解説しているので、ぜひ参考にしてください。
関連記事：SEO対策でパンくずリストは必要？
サイトマップとはWebサイトに存在する全てのURLをリスト化したファイルのことです。
このサイトマップをGoogleに送信すると定期的にクロールしてくれるので、毎回インデックスを申請する手間を省ける上にクローラビリティも向上します。
サイトマップの送信方法は以下の記事で解説しているので、参考にしながらGoogleにサイトマップを送信しましょう。
関連記事：サイトマップとは？SEO対策の上で重要な理由を解説
最後に、クロールされたくない場合はどうすればよいのかという疑問にお答えします。
その場合は該当するWebサイトに「robots.txt」と呼ばれるファイルとディレクトリのトップ（index.htmlの階層）にアップロードしてください。
テスト運用中のWebサイトやミラーサイト、まだコンテンツがないWebサイトなどがクロールされると低い評価を受ける場合があります。
特にミラーサイトは本番サイトがペナルティを受ける可能性もあるので、クロールされないように設定するといいでしょう。
「robots.txt」を設置するとクローラーの巡回を防げるので低評価やペナルティを避けることができます。
日本国内において、圧倒的なシェアを誇る検索エンジンを有するGoogleのクローラー「Googlebot」に対して、最適な対応をするクローラビリティはSEO施策の観点で非常に重要です。
日々、意識することで自サイトのSEO効果は着実に上がっていきます。良質なコンテンツをきちんとGoogleに審査してもらうためにもクローラーを意識したSEO対策を実施してください。
