【クローラーって何!? 】SEOに絶対必要!情報を取得させて、検索結果に表示させてみよう!クローラビリティを向上させるのがポイントだ!

  • 2021年2月14日
  • 2021年2月14日
  • SEO対策
  • 2view

SEOが重要と言っても、そもそも検索エンジンにデータが登録されていなければ意味がありません。

Googleなど多くの検索エンジンでは、自分たちの検索データベースに、世界中のWebサイトのデータを常に蓄えています。そして、検索キーワードをユーザーが打ち込んだ際に、検索結果として表示してくれます。つまり、彼らのデータベースに登録されていなければ、検索結果に出ることはありません。彼らのデータベースにWebサイトの情報を収集するロボットのことを「クローラー」と呼びます。そして、クローラーが巡回のしやすさをクローラビリティといいます。クローラビリティを向上させることは、SEOの一貫と考えられます。

今回は、クローラーの意味とそしてクローラビリティの向上方法を解説していきます。

過去記事【SEO対策】  SEOを制するものがネットビジネスを制する!上位表示に必要な対策方法はコレだ!

クローラーとは

クローラーとは、検索ロボット、サーチボットとも呼ばれ、インターネットにつながっているWebサイト・画像・動画などの情報を収集し、検索データベースに保管するプログラムのことです。這う(クロール:crawl)ように収集していくことからクローリングと名付けられました。

クローラーはインターネット上につながっていれば、できるだけ収集しようとします。しかし、公開してすぐのページなどはクローラーもなかなかページを見付けられないため、こちらから見付けやすくしてあげることで、いち早く検索結果に表示されるようになります。

クローラーがページを見付けやすくすることを”クローラビリティを高める”と言います。
  

クローリングするファイルの種類

上記でGooglebotはHTMLファイルなどの情報を読み込んで解析し、サイトの構造を理解しているとお伝えしましたが、読み込んで解析しているのはHTMLファイルだけではありません。

  • PHPファイル
  •  JavaScriptで生成されるリンク
  • PDF
  • WordやPowerPointなどによって作成されたファイル

例えば上記なども、Googlebotはクローリングして取得していきます。
  

クローラビリティとは

クローラーがサイト内を回遊しやすくするように、サイト内の構造を適切に整えることを指します。クローラーは当たり前ながら人間ではありません。画像を見て、それが何を意味するかを考えたり、テキストの行間を読んだりすることはできません。

では、Googlebotが何を持ってサイトの構造を理解しているかと言うと、サーバ内に格納されているHTMLファイルなどの情報を読み込んで解析し、サイトの構造を理解しています。よって、まずはサイト内の各種ファイルを適切に書くことが重要です。その上で、下記でご説明する「クローラビリティを向上させる方法」をもとに、サイトの改善を進めていきましょう。
  

クローラーの種類

Googlebot

Googlebotとは、Googleが情報をクロールするために作ったbotになります。クローラー、スパイダーと呼ばれることもあります。

日本の検索エンジンのシェアは9割をGoogle(Yahooの裏側はGoogleのため)が占めているため、このクローラーを気にしておけばまず大丈夫でしょう。
  
参考:
Googlebotとは|ferret マーケティング用語辞典
  

Googlebot以外のクローラー

Googlebot以外にもクローラーは存在していますので、念のため、そちらにも触れていきます。

  • Yahoo Slurp:日本以外のYahooのクローラー
  • Baiduspider:中国の検索サイトのBaiduのクローラー
  • bingbot:マイクロソフトが運営するBingのクローラー

ここらへんが有名なところでしょうか。

Yahoo Slurpは日本には関係がないサイトなので、存在していることぐらいを知っておけば問題ないでしょう。
  

クローラビリティを向上させる方法

1. 外部サイトからのリンクを作る

クローラーはリンクからURLを発見し、クローリングを行います。そのため、外部のWebサイトからリンクを張られていると、Webサイトを認識してくれやすくなります。
  
▼関連記事:
基礎知識:検索エンジンの裏側を知ろう|ferret
  

2. Google サーチコンソールからサイトマップを送信する

original_(26).jpeg
Googleが提供しているGoogle サーチコンソールには、WebサイトにどんなページがあるのかをGoogleに知らせる、サイトマップ送信機能があります。これを使って、Googleにページの存在を伝えクローリングしてもらうことが可能です。
  
参考:
Google Search Consoleの登録方法|ferret
Google Search Consoleからサイトマップを送信しよう|ferret
  

3. GoogleサーチコンソールのFetch as Googleを活用する

fetchasgoogle
GoogleサーチコンソールにあるFetch as Googleは、Googleにクロールを促すことができる機能です。これを活用することでクローラーを呼び出すことができます。

関連:
Fetch as Googleとは?|インデックスを早め、Googleにどう読み込まれているかがわかる公式ツール|ferret
  
ちなみに、Fetch as Google以外にも、同様の機能を持ったページがあります。使ってみてはいかがでしょうか。
参考:新規作成ページや更新したページのURLをGoogleに通知する方法4選 | アソビズム

4. ディレクトリ構造を見直す

Googleは階層の浅いコンテンツほど、重要なコンテンツと認識すると公式に発言をしています。検索エンジンが、重要なコンテンツを理解できるようにディレクトリ構造を見直すのも1つの手です。
  
参考:
oogleで、URLの長さは問題にならないが階層の深さは重要 from #SMX Advanced 2015

5. リンクのないページの排除

クローリングはWebサイト上のリンクをGooglebotが発見し、アクセスすることです。リンクがどこからも張られていないページは、GooglebotがURLを発見しづらくインデックスがなかなかされにくくなります。

Googleの長山氏はURLの発見について下記のように言及されています。

一般論としてはリンクがあったほうがURL発見の助けになります。ただサイトマップなど他の発見経路があればなくても大きな問題は発生しないかと思います。現在リンクしていないのはUX上の配慮なのでしょうか?

内部URLがなくても、URLが全く発見できないわけではありませんが、新しくページを作ったら必ずサイト内のどこかのページからリンクを張ってリンクの発見を手助けるようにしましょう。
  
参考:
Google 検索の仕組み – Search Console ヘルプ
  

6.パンくずリストの設定

パンくずリストとは、Googlebotにサイトの構成をわかりやすく伝えるための道案内図です。

このページにもヘッダー帯すぐ下に

TOP > ニュース > クローラーってなに?SEOに絶対必要!サイトの情報を取得させ、検索結果に表示させよう

と表示されています。このリンクの道案内図をパンくずリストと呼びます。このパンくずリストを設置することで、GooglebotのURL発見を手助けすることができます。

参考:
パンくずリストとは?|SEOに有効な理由と関係性を解説|ferret
  

クローラーがWebサイトに来てくれているか確認する方法

site:検索を使う

site:検索
実際にクローラーを呼ぶために、サイトマップなどを送信しても来てくれるかどうかはGoogle次第です。あくまでもシグナルをこちらから送るだけなので、実際にクローラーがWebサイトに来てくれてインデックスされているかは、自分で調べなければわかりません。全然アクセスが伸びない場合は、クローラーがまだ来ていない可能性もあります。

そんな時はGoogleの検索エリアで「site:検索」を行いましょう。

クローラーがインデックスしているとこのように表示になります。

クロールの統計情報を確認する

https://www.google.com/webmasters/tools/crawl-stats

site:検索も良いですが、Googleサーチコンソールを使うと「クロールの統計情報」を閲覧することが可能です。クロールの統計情報では、どれくらいクロールされたのかなどのデータを見ることもできます。

ここでの数値が低いとあまりクローラーがサイトにアクセスしてくれていないと言えるため、クローラーがアクセスしてくれるように前述したような方法を試すと良いでしょう。

参考:
Googleサーチコンソールの使い方白書〜今更聞けない基礎知識からアナリティクスとの連携方法を解説|ferret
  

クローラーの速度の変更について

https://www.google.com/webmasters/tools/settings

クローラーの速度は、Googleサーチコンソールで変更することができます。

Googleサーチコンソールにログイン後、設定からサイトの設定を選択すると変更が可能です。しかし、速度を速めることはできず、基本はGoogleに任せることになります。ここで変更できるのはクローラーのクロール速度に制限をかけることになります。

参考:
https://support.google.com/webmasters/answer/48620?hl=ja
  

クロールバジェットについて

クロールバジェットとは、各サイトに対してGoogleが設けているクローリングの上限値となります。クロールバジェットを高めることで検索順位に良い影響があると考える人が多いようです。そもそもクロールされなければ、インデックスもされないためそう考えるのも無理はありません。

しかし、クロールバジェットについてはURLが無尽蔵に増えていくような大規模サイト以外は気にしなくて良いとGoogleは言っています。

こちらについては、GoogleのJohn Mueller(ジョン・ミューラー)氏がポッドキャストで語っています。

クロールバジェットが関わってくるのは、
• たくさんのパラメータが付いた本当に複雑なURL構造で
• URLが無尽蔵にできあがり
• Googlebotがクロールを無限に繰り返す
ような場合だ。そんな状況だと、クロール能力の限界を超えてしまう。
引用元:【Web担】SEOで「クロールバジェット」という言葉を聞いたことがあるだろう。クロールバジェットとは何か、SEOにどう関係するのか、わかりやすく解説する。

よって、多くの方はクローラビリティを高めることを最優先に検討すれば良いでしょう。

過去記事SEOとは?基本から施策方法までを徹底解説!必ず役に立つ。
  

まとめ

せっかくWebサイトを作っても、Googleに巡回されデータ蓄積をされなければ、機会損失にもなります。

内容だけではなく、しっかりとクローリングされるようにして上位表示を目指しましょう。

今回はこの辺でさようなら。

過去記事プログラミングとコーディングの違いとは?初心者に解説してみる

最新情報をチェックしよう!
>本当の自由を求めて「WEBサバイバー terayamaya」

本当の自由を求めて「WEBサバイバー terayamaya」

本当の自由とはなんだ?答えを求めてサバイブし続ける!お金より大事な事は沢山あるけどお金じゃないと解決できない事もある。

CTR IMG