クローラーというと最初におもいつくのは営業リストの作成などの用途だと思いますが、実はSEO関連のマーケティングツールとしても利用されています。有名なところでは、外部リンクを調査するサービスなどがあります。こうしたサービスを使うことで、自社が管理するホームページへの被リンクの数や、リンクの際に使われているテキストなどを簡単に把握することができます。しかし、最近のSEOでは外部リンクだけでなく、内部の構造、サイト内のリンクの状況などの、いわゆる内部施策が非常に重要になってきています。そのため、競合サイトの内部施策を研究したいというニーズが増えてきています。そこで利用されるのが競合サイトの内部施策を把握するためのクローラー＋解析アプリケーションです。

まずは競合サイトをクロールしてページを収集

最初にやるのは、SEOに成功している競合サイトのクロールです。この時、クローラーの動作をどのように設定するのかがポイントになります。Googleなど狙っている検索エンジンが決まっている場合は、その検索エンジンのクローラーがクローリング結果を確認し、収集に成功しているページを的確にクロールできるように設定する必要があります。実は、すべてのクローラーがリンクをたどる方法同じというわけではありません。アンカータグのみを辿るものもあれば、Javascriptなどで記載されているものも抽出して辿るものもあります。また、リンクとして機能していない場合でも、URLパスと思われる記載がソース上に掲載されていたら、それがどんなものであっても、そちらのページにもアクセスを行うという動作もあります。こうした点を調査、考慮し、極力、狙っている検索エンジンと同じ動きになるクローラーの設定にして、ページ情報を収集していきます。尚、調査の差異には少しだけ気を付けるべき点もあります。それはリンク構造からは切り離されているページがあるものの、サイトマップから送信して登録しているケースなどもあるということです。こうした点も十分に考慮した上で稼働させていきます。

収集したページ情報を解析して、ページごとのリンクの数、リンク先、利用しているテキストなどを集計

次に行うのはページの解析です。解析の目的はサイトの内部構造を把握することになりますので、すべてのページを個別に解析し、その結果を最終的にサイト全体の分析結果としてまとめあげていきます。各ページごとに、どのようなリンクが存在するのか、そのリンクはどのようなテキストを利用しているのかなどを分析し、サイト内でより多くリンクされているページを把握し、リンク元のページがどのようなページであり、そこからどのようなテキストリンクが貼られていたのかで、どういった重要なページなのかを分析していきます。構造、リンク数、リンクテキスト、リンク元ページの主旨、リンク元ページの重要度、canonical設定などをはじめとしたページ要素、こうしたことを調べてあげていきます。

徹底的にやるのであればソース上のタグごとのテキスト、キーワードも調査するとより強力な分析が可能

ここまでの施策を実施するだけでも、ある程度は競合サイトの内部施策の状況を把握することができます。しかし、徹底的に調査をしたいという場合は、個別のページが、具体的にどういった内容に、どういったキーワードを、どの程度使って言及しているか、また、個別のタグごとにどのような比率でキーワードが登場するのかなど、ページを自然言語的に徹底的に解析し、文章の作り方や構成の作り方の参考になる部分まで分析するという方法もあります。ここをしっかりと実施する場合、処理量が膨大なものになるため、アプリケーションの運用コストが上がるというデメリットはありますが、SEOのこうした調査は日常的に行うものではないため、本気で取り組む場合などは投資を増やしても実施する価値があります。但し、サイトの構造やリンクなど、いわゆるサイトの制作や開発だけを管理しているものの、掲載されるコンテンツは管理していないというウェブマスターなどの場合は、こうしたところを調査してもすぐに改善できないことも多くあるため、プロジェクトの目的や、運営体制にあわせて範囲は検討する必要があります。

クローラーは、SEOを強化したいという人たちが、ぜひとも知りたい競合サイトの情報を見つけ出してくれる便利なツールです。SEOでどのような改善をしたらいいのかなど、少しわからなくなった時などは、成功している競合サイトを分析すると改善すべき点が見えてくることもあります。本気のSEOを考えている方はぜひ検討してみてください。