検索エンジンを支えるクローラーという存在

Googleをはじめとした多くの検索エンジンではクローラーが情報を集め、その情報の中からキーワードに合致した適切なものを抽出することができます。このような検索エンジンを構築するために、クローラーを導入したいという企業の方は結構いらっしゃいます。こうした検索エンジンの構築、運用の目的の多くは、営業やマーケティングの効率化です。検索エンジンが営業やマーケティングを効率化させるといってもピンとこない方もいらっしゃると思いますので、ここでは利用されるシーンからご紹介していきます。

営業活動を助ける検索エンジン

営業、マーケティングは多くの企業で欠かすことができない活動のひとつとなっていますが、これらの業務では正確で新鮮な情報をどうやって手に入れ、それを抽出できるか、活用できるかがとても重要なポイントになります。たとえば、こうしたニーズをもっている企業であれば購入してもらえるとわかっていれば、直近でニーズを持っている企業をリストアップしたくなります。また、競合とのつきあいを始めた会社がいれば、ニーズがあるのは間違いがないはずなのでタイミングをみて適切なときにアプローチすれば、闇雲に営業をするよりもはるかに購入してくれる確率が高まるはずです。このように、ニーズがある企業を見極めるためには、最新の情報を常に集め続けて、特定のロジックで抽出することができるようにする必要があります。それを実現するのが目的に最適化した機能を詰め込んだ検索エンジンなのです。

見込み客のサイトの情報を的確にクロールするためのクローラーの特殊ルールを設定

営業やマーケティングを効率化する検索エンジンのためにクローラーを動かそうとする場合、重要なのは見込み客になりえる企業を効率的にどうやって見つけるのかということが重要です。世界中のすべてのサイトをクロールしても、そのほとんどは企業の情報でもないため、コストパフォーマンスが非常に悪い状態になります。そこでクロールする際に、特定の条件を満たしたものについては情報を集めるが、該当しないものはクロールをしないというルールを設定していきます。たとえば、わかりやすいものとしてはドメインが「co.jp」であれば会社の確率が非常に高いため、全ページのクロールを行うというものがあります。また、会社概要を紹介しているページがあるか、その中に会社名と思われる文字列がでてくるかなどでクロールを行うかどうかを検証を行いながら挙動するルールを設定したりするわけです。さらに、自社の商品ターゲットが明確な場合は、見込み客になり得る企業の事業内容をなどを条件としてルール化することができれば、非常に効率的なクロールが可能になります。こうしたルールは企業によって設定条件が大きく異なってくるため、個別に調整を行っていくものとなります。

見込み客の状況を見逃さない効果的な監視のためのクローラーのルール設定

また、こうした対象を見極めるルール以外に、営業やマーケティングで有益なものにするためには、クローラーには継続的な確認作業が必要になります。たとえば、こうした条件を満たした企業は、こういった条件を満たしたときに営業チャンスが来るのでアラートを出すなどです。求人広告を販売している企業であれば、その企業が他社の求人広告を購入した時などがこれにあたりますが、自社の採用ホームページを更新した時などもアラートを出したいタイミングになります。見つけた後の継続監視するポイントの設定も、別途ルールとして設定することで、見つけただけでなく、チャンスを逃さない挙動を実現することができるようになります。

このように営業やマーケティング活動で利用される検索エンジンで利用されるクローラーには、ただHTML情報を収集するというだけでなく、効率的に動かすためにどのように動くのかを細かくルールを設定することが求められます