SEO対策を一から始める人で、何から行ったらよいかわからないという人も少なくないでしょう。専門的な知識がなければ難しいですよね。このような場合はまず、SEOの基礎知識として、サイトの情報を収集する「クローラー」について知ることが大切です。
今回はクローラーについての基礎知識と、検索エンジンに認識されやすい条件についてわかりやすくご紹介します。
クローラーとは
まずクローラーとは、GoogleやYahoo Slurpなどのロボット型検索エンジンがWeb上に存在するファイルを収集するためのプログラムです。
HTMLだけでなく、画像やPDFを含むファイルなども収集され、クローラーによって収集されたデータは情報が処理されやすいようにインデックス化され、検索データベースが形成されるのが特徴です。
また、クローラーにも複数の種類があり、Googleのクローラーでは、通常のWEBサイト検索には「Googlebot」というクローラーが利用されています。このほか、画像検索の場合には「Googlebot-Image」、スマホやタブレットのモバイル検索では「Googlebot-Mobile」のようなクローラーがあり、こういったクローラーの基礎知識を理解することは、SEOを実施する上ではとても重要です。そのため、基礎知識を理解して、クローラーに対するサイト上の対策をどのように行っていくかが大切となります。
クローラビリティとは
クローラビリティとは、クローラーがサイト上を巡回しやすくするように、サイトの構造を適切に整えることを指しています。
SEOを実施する上では、サイト内を効率よくクローラーが巡回するための工夫はとても重要です。クローリングは、一つ一つのサイトごとに人間が行っているものではないため、クローラーが画像をみて、その画像自体が何を意味するのかを考えたり、テキストの行間を読んだりはしません。
「Googlebot」などのクローラーは、サーバー内のHTMLファイルやPDFなどを読み込んで、情報を解析することで、サイトの構造を理解しています。したがって、まずはサイト内のHTMLファイル、PHPファイルなどの各種ファイルを、クローラーに対して適切に書いていくことが大切です。
クローラビリティを高める方法
サイト上の巡回を行い、そのサイトの情報を収集しようするのがクローラーの特徴です。
しかし、クローラーはすべてのサイトを漏れることなく巡回することはできず、ページを公開したからといってすぐに巡回してくれるわけでもありません。そのため、見つけやすくするための工夫がサイト内に必要となります。
クローラビリティを高める方法としては、大きく分けると4つの方法に分類されます。それぞれの方法についてチェックしておきましょう。
- サイトマップを送信する（GoogleSearchConsole）
- URL検査ツールからリクエストする（GoogleSearchConsole）
- 内部リンクの構造を最適化する
- パンくずリストを設置する
サイトマップを送信する（GoogleSearchConsole）
サイトを新しく作成したり、サイトの構造を大きく変えたりした場合は、「Google Seatch Console」からサイトマップを送信しましょう。
「Google Search Console」には、Webサイト上にどんなページがあるかをGoogleに知らせる機能（サイトマップ機能）があります。サイトマップを送信することにより、サイト上にあるページの存在を知ってもらうことができ、Googlebotによってクローリングしてもらうことが可能です。
この方法は、サイトのSEO対策として、簡単に行うことができるのでぜひ試してみてください。
URL検査ツールからリクエストする（GoogleSearchConsole）
自社ホームページや新しい記事を掲載した際は、「Google Search Console」でインデックスのリクエストを行いましょう。
URL検索ツールでは、「Fetch as google」と同じようにインデックス状況の確認やリクエストをすることが可能です。
しかし、このような場合でリクエストができるのは、対象URLのみです。そのため、一度に複数のページを再クロールさせたいという場合には、先ほどご紹介したサイトマップのクロールをリクエストしなければいけません。
また、「Fetch as Google」を使用することができる上限数は、1週間で500回までとなっているので、リクエスト回数には注意しましょう。
内部リンクの構造を最適化する
クローリングは、サイト上のリンクをGooglebotが見つけてアクセスすることです。そのため、リンクが張られていないページはGooglbotに発見してもらいにくいため、なかなかインデックスされづらいという点があります。そのようなことから、サイト内のどこかのページからリンクを張るようにするのが効果的です。
内部URLがない場合でも、URLを発見できる確率はゼロではありません。しかし、新しくページを作ったり、サイト上の記事を更新したりした場合では、サイト内のどこかのページにリンクを張るのがおすすめです。リンクを増やすことで、クローラーがサイトを巡回してくれる可能性は高まるでしょう。
パンくずリストを設置する
サイトを新しく作成したり、サイトの構造を大幅に変更したりした場合は、パンくずリストの設置、更新を忘れずに行いましょう。
パンくずリストは、そのサイトの構造をGooglebotに伝えるための案内図という役割を果たします。パンくずリストを設置すると、GooglebotがURLを発見しやすくなるので、SEO対策としては非常に効果的です。また、ユーザーにとっても自分が現在どのページをみているのか、サイト上のどこにいるのかを把握しやすくなります。
SEOとしての効果だけでなく、ユーザビリティを向上させることも可能です。
クロールされているかを確認する方法
サイトの公開や更新をしても、その後、Googleにインデックスされているかどうか気になる方も多いでしょう。
サイトマップを送信しても、クローラーが必ず巡回してくれるとは限りません。そのような場合に、サイトがGooglebotに確実にクロールされているかどうかを確認する方法をご紹介します。
これまでご紹介してきたSEO対策をいくら行っても、クローラーにクローリングされなければ意味がありません。SEO対策を行ったら、必ずクロールされているかどうかを確認するようにしましょう。
「site:」コマンドで検索結果上に現れるか調べる
サイトマップなどを送信しても、必ずクローラーが巡回しにくるとは限りません。
ここでは「site:」コマンドを使ったクローラーにインデックスされているかどうかを確認する方法をご紹介します。その方法としては、Googleの検索エリアで「site:」の後にドメインを入力し、検索をしてください。
そして、検索結果にそのサイトが上位表示されていれば、クローラーがインデックスされているという証拠になります。このように「site:」をつけて、Googleの検索窓で検索するだけで、クローラーにインデックスされているかどうか調べることが可能です。
「クロールの統計情報」を確認する（GoogleSearchConsole）
「Google Search Console」からでも、Googlebotにクローリングされているかどうか確認する方法があります。
「クロールの統計情報」では、クローリングされたかどうかだけでなく、どれくらいクローリングされたかなどのデータを定量で確認することが可能です。
確認する手順としては、まず「Google Search Console」から「クロール」をクリックし、「クロールの統計情報」を選びます。そこでグラフとともに過去の情報を見ることが可能です。ここでの数値が低い場合は、クローラーがサイトにアクセスしていないということになります。
クローラーの種類
検索エンジンは、Googleのほかにもyahoo!やBingなどがありますよね。クローラーにも同じくGooglebot以外のものがそれぞれの検索エンジンごとに存在します。
ここでは、各検索エンジンの代表的なクローラー4種類についてご紹介していきますので、チェックしていきましょう。
- Googlebot
- Yahoo Slurp
- Baiduspider
- bingbot
Googlebot
「Google bot」は、Googleが情報をスクロールするために開発したbotで、別名でクローラー、スパイダーとも呼ばれることがあります。
日本の検索エンジンシェアの9割を占めているのが特徴です。そのため、このクローラーへのSEO対策を行うことが重要となります。
Yahoo Slurp
Yahoo！の検索エンジンであるYST(Yahoo! Search Technology)が使用しているクローラーです。
しかし、日本でのYahoo!検索は現在Googleのシステムを利用しているので、日本ではあまり関係がありません。よって、「Yahoo Slurp」は使われていないので、それほど気にする必要はないでしょう。
Baiduspider
中国の検索サイトとして有名な「百度（バイドゥ）」のWebサイト情報を収集するクローラーです。
その特徴として、非常に短い間隔でリクエストを行うことから、サイト管理者からの評判があまり良くありません。Robots.txtを利用することで、「Baiduspider」の全アクセスを禁止することが可能です。
bingbot
「Bingbot」は、マイクロソフトが運営しているBingのクローラーです。その特徴としては、SEOツールを多く搭載しています。しかし、クロール頻度が低いかつ、そこからの集客力は非常に弱くなっているのが特徴です。
よって、日本ではクロールされたとしても、Bingからの流入という恩恵は少ないでしょう。
まとめ
今回はクローラーの基礎知識と、検索エンジンに認識されやすい条件を解説しました。
現在、日本での検索エンジンのシェアはGoogleが9割を占めているので、クローラーを向上させるためにはGooglebotへの対策が非常に重要となるでしょう。
新しいサイトの作成や、ページの更新を行った場合は、「Google Search Console」からサイトマップを送信したり、サイトにパンくずリストを設置したりするなどの対策を行うことがおすすめです。
