今回、こちらでご紹介するのは「ニュースやプレスリリースをチェックする」というWebクローラーの活用事例です。営業やマーケティング、経営層などが利用する、市場に関連したニュースや競合のプレスリリースなどをチェックしていくもので、ビジネスを有利にする情報を的確にWebクローラーで収集するというものです。一見、ただ取得して、キーワードマッチしたものを抽出するだけで上手くいきそうなものですが、ここにも落とし穴がいくつかあります。

ニュースサイト、プレスリリースサイト、競合の企業サイトから市場の動きを把握。実際に導入してみると思ったほど使えないという結果になってしまう理由とは？

市場の動き、競合の動きをしっかりと把握して、営業やマーケティング、そして経営戦略などに活かしたいきたい。そんな要望を持っている企業さんはたくさんいらっしゃいますが、実際に運用をしてみると思ったほどうまくっていないというケースが後を絶ちません。その理由は大きく2つあります。1つ目の理由は、的確な情報を収集できていないということ、そして、2つ目が新しい変化に適応ができていないということです。それぞれ説明をしていきます。

”的確な情報”は社内の現場のフィードバックなしに定義することはできない。これをＡＩを使って自動化するのが成功のためのポイント

まず、的確な情報を収集できていないというのは、収集すべきサイトが間違っているということと、サイトの中で期待している情報を見つけ出して提案ができていないということによって起こります。どちらも、営業やマーケティングの現場で、「役立つ情報」がどういったものなのかを理解できず、なんとなくキーワードがマッチするようなニュースなどの情報を収集してきて知らせるというような稼働をしている場合に起こります。なぜこのニュースを紹介しておいて、こっちの重要な情報の抜け漏れが起きているのか。そんなことを感じてしまったら、現場は「自分でニュースを探しにいったほうが早い」という状態になり、投資は失敗に終わってしまいます。こうした事態を防ぐためには、しっかりと事前にテスト導入を行い、現場のフィードバックデータをＡＩに学習させていき、役立つもの、役立たないものを把握させていくのが効果的です。ＡＩを利用しないWebクローラーでは、取得先は人が決めていきます。このサイトのページを収集する、こうした情報が掲載されていたらピックアップとして利用するなど、抽出すべきサイトやページを固定的なロジックで決めていくことになるのですが、この方法の課題は膨大なサイトやページのパターンを把握し、それをロジックとして反映させることが難しいことです。その結果、人が行う場合は「ここらへんを抑えておけばいいだろう」という最大公約数的なリストで稼働をすることになります。こうなってしまうと実際に導入した後、現場からは、それっぽいけど全く使えないという厳しい評価をもらうことになります。

市場は固定されたものではない。常に変化を続けることを踏まえて、変化を学習し続けなければWebクローラーが収集するものの価値はどんどん落ちていく

次に、新しい変化に適当できていないというのは、市場が変化し続けることを踏まえていないことによって起こります。たとえば競合企業といっても、変化の激しい業界などでは半年もあればプレイヤーは変わりますし、市場の定義も何かのイノベーションによって大きく変わります。数年前まで自動車といえば製造業の代表格でしたが、現在はというと、自動運転などの市場変化によってＩＴの分野などにも広がりを見せており、市場の定義は常に変化し続けています。こうした変化することを踏まえていないと、一般的なニュースサイトと同レベルの情報となってしまい、営業スタッフが毎日欠かさずチェックしたいものには程遠いものとなってしまいます。では、こうした変化をどのように適用していくのかというと、ここでも専用のＡＩを調整して運用するのが最も効果的です。インターネット上には素人の人が書いている文章もあれば、複数のプロが目を通した上で公開されているような文章もあります。後者の文章の特徴を学習させ、こうしたところで取り上げられる、複合的な意味から市場内の変化を読み解かせて、市場の定義を自動でアップデートしていくと、新しい変化に柔軟に対応ができるようになります。新しい用語、新しい企業、新しい市場範囲など、こうした市場を形作るものを定義し学習させた後、プロが発信する情報の中からそうした点の変化をチェックさせ続けるわけです。こうすることで、新しい変化にも柔軟に対応ができるようになります。

ニュースというのはあまりに一般的なものなので、ただ取得するだけと思いがちです。しかし、ビジネスでの活用を踏まえたWebクローラーによる収集となると、たくさんの考えるポイントがあります。完全に自動化していくことを目指すのであれば、あらゆる変化に柔軟に対応し、現場からのフィードバックを理解して、改善し続けるシステムにする必要があります。ニュース、プレスリリースをWebクローラーで収集し、営業力向上などに活用したいと考えている方は、こうした点に留意の上でプロジェクトを進めていきましょう。