Webクローラーは最近、営業部、マーケティングだけでなく、経理、人事といった、これまであまり関連性がなかったような部署などでも導入されてきています。インターネットが欠かすことができないインフラとして機能するようになったことで、部署を問わず必要な情報をインターネット上から収集する業務が増えてきているということの証明でもあります。しかし、いろいろな業務で活用されるようになったことで、別の課題も生まれてきています。Webクローラーを使ってデータを収集するだけでは、あまり役に立たないで終わってしまい、結果として投資が無駄に終わってしまうという問題です。

営業やマーケティングといった部署で必要とされるデータは、当初は営業リストなど収集した状態だけで十分価値があるものでした。そのため、こうした用途では単純にHTMLデータを集めてきて、最低限のデータとして切り出すだけで十分に役に立つことができていました。しかし、こうした単純な収集したリストデータのようなものは、多くの企業が取り入れてきてる結果、それだけでは十分な効果が得られなくなってきています。そこで収集したデータを、さらに多変量解析をしたり、名寄せによってスコア計算をして、より効率的なリストにしたりと、収集のその先までが必要とされてきています。

また、加えてより多くの部署、業務で活用されていく中で、収集した情報だけでなく、社内に存在する取引先のデータをはじめとした別のデータとのつなぎ合わせであったりといったことも必要とされるケースが増えてきています。インターネットがより重要になってくる中で、インターネット上の情報の活用方法も複雑化していきているのです。

これからWebクローラーの導入を考える方たちであれば、こうした現状を踏まえて、インターネット上から”データを収集する”ことは当然のこととして、”データを集めた後に何をするのか”という点までをしっかりと考えてクローラーの導入企画を進めていくことをお勧めします。ここからは具体的な手法について簡単にご紹介をしていきます。

みんながほしいのは情報ではない。情報からわかる結果なのだということをしっかりと理解しておくことがクローラー導入における成功のカギ

Webクローラーというと情報を集めるということだけに意識がいきますが、実際に現場で必要とされているのは情報ではありません。求められているのは結果という、非常にシンプルなものであるということをしっかりと頭にいれておく必要があります。データは多ければ多いほど良い、とにかくたんさん収集して、何かに使おうというようなビッグデータ病とも呼ぶべき現象が、一定の割合で発生します。もちろんデータがあればあるほど、できることは増えてきます。しかし、同時に、その大量のデータから、どんな結果を導き出すのかという難易度はどんどん上がっていきます。営業やマーケティングの現場での見込み客のリストを例に考えてみます。東京都のすべての会社のデータを集めて渡され、それを営業リストとして使ってくださいといわれた現場スタッフはどうなるでしょうか。営業するだけ無駄な、ターゲット外の企業へ大量に営業することになり、生産性は大幅に下がります。売上目標は当然達成することはできないでしょう。しかし、たった10件のリストだったとしても50％の確率で売上があがる、確度が極めて高い営業リストを渡されたらどうなるかといえば、現場の負担は最小で、最速、最高の結果を手にできるはずです。

もちろん、現実の世界ではこのようなことは起こりえませんが、これに近しいことは頻繁に起きています。みんながほしいのは”企業の情報が並んでいるリスト”ではなく、”確度の高い見込み客のリスト”なのです。そのためには収集したデータの中から、より的確なものを選別し、提供していく必要があります。単純な収集ではなく、収集した後のより目的に適した状態にするための工夫こそが求められているのです。

市場は変化を続けていくもの。収集条件が固定的では結果は悪化していくこともあることを踏まえて検討をすすめること

もうひとつ、収集するだけではなく、振り返りと改善という、いわゆるPDCAを意識した仕組みが必要となります。その理由は”市場は変化を続けていく”ためです。たとえば、営業やマーケティングを例に考えてみます。現在の顧客から分析し、どういった会社が自社の商品を求めているか、購入する確率が高いかを考え、それを同じ条件、又は類似の企業を見つけ出して、営業やマーケティングを実施していきます。こうすることで、購入確率が高い人たちに、的確にアプローチすることができ、売上を上げることが容易になるわけです。しかし、ここで注意が必要です。それは永遠に同じ属性の見込み客が、同じものを求め続けるということはありえないということです。

市場のなかには自社、顧客、競合がいます。まず自社も顧客も変わらない場合でも、競合が変わるだけで結果は大きく変わります。自社の半額で、2倍の性能を持つ商品を販売し、市場内の顧客を大幅に獲得し、シェアの80％を特定の競合が獲得していたとします。このような状態になってしまったことに気が付かずに、これまでと同じように、同じところにアプローチしても、案件化率、受注率は大幅に下がります。それは既に類似商品を購入しており、また、スイッチするメリットが何一つない提案を受けている人たちが、購入する理由は何一つないからです。こうした現象は、ただ、データを収集して使っているだけでは改善することはできません。収集した後のデータを使った結果、どのようなところまで達成できているかを把握し、悪化してれば収集データ、又は利用するデータの変化をつけていく重要になるのです。市場は変化を続ける、その変化に気が付き、データを変化させ続けるということを事前に考えておくことは、Webクローラーの導入における成功確率を大幅にあげてくれるものです。

ただデータがとれればいいだけの時代は終わりつつあり、収集したデータをどう使うべきなのか、使ったことで本当に改善しているのかということを考える時代がやってきています。市場の変化にも対応し、収集すべきデータ、利用するデータの抽出も改善を続ける。こうしたことを考えてWebクローラーの導入をぜひ考えてみてください。きっと導入によるメリットを最大化できるはずです。