営業に役立ちそうな情報は、インターネットの中にはたくさん存在しています。企業ホームページ、ニュースサイト、クチコミサイト、求人サイトといったような様々なサイトの情報を総合的に使って、理想的な営業リストや、アラートなどのシステムを検討された経験があるという会社さんは意外に多いのではないでしょうか。しかし、実際、検討を進めてみると、表記上のゆれであったり、業種や特徴などを判別することが難しいないなど、いわゆる構造化されていない状態のデータ、”ダークデータ”であるために、理論上はできそうだが実現ができないというのは良くあることです。人が見ていけば、判定することができるけれど、システムで処理するとなると、必要になる規則性などがないため上手く判定ができず、結果として自動化が実現できないというのは営業やマーケティングの現場ではよくある話のひとつです。

特定のインターネットメディアなどからデータを収集する場合、検索軸に相当する項目がしっかりとあったり、詳細ページに表示される、企業を紹介するための基本項目が決まっているなど、構造化されているためシステムで自動化するのは非常に簡単です。特別な処理をせずとも、人間と同じようにレベルの判断を容易に実現きます。しかし、不特定の大量のサイトの中からデータを抽出しようとすると、共通のルールは存在しないため、人間と同じようなレベルで、システムにもしっかりと考えさせなければいけないため、難易度は大きく上がっていきます。当然難しいことではありますが、不可能なことではありません。ここでは、大量の構造化されていない、規則性のない、いわゆるダークデータを使って、営業で有益なリストなどを作り上げていくための方法をご紹介していきます。

クローラーが集めた大量の企業ホームページのデータを、ダークデータにしないためにはAIの活用がポイント

企業ホームページは、オーナーである企業がそれぞれ設計を行い、自社のPRに必要だと思う情報を掲載するものです。つまり、企業ごとに掲載する項目も、ラベルも、そして紹介する文章の体裁や表現もすべてが異なります。ある企業では自社の商品をPRしているのに対して、ある企業は経営者の思いや従業員の日常のブログなどを前面に押し出している場合もあります。企業が運営しているという共通の事実を除くと、すべてに制約がなく、企業に判断が委ねられているため共通の規則性を見出すのは簡単ではありません。もちろん会社概要ページ、お問合せページなど、一部のページは非常に似た状態が多く掲載されているページはあります。しかし、こうしたところで抽出できるのは企業名や所在地、電話番号というレベルといった情報です。こうした情報をもとにデータを作っていくと、出来上がったデータは電話帳と何ら変わりません。これでは営業の効率化に役立つ情報とはいえません。

電話帳と変わらないレベルのデータで営業やマーケティング活動を行っても効率は上がっていきません。自社の顧客になる可能性が高い、見込み客をリストアップするためには、構造化されていないダークデータを、適切に使える状態にする必要があります。こうしたところで役に立つのが”AI”です。AIは人口知能という名の通り、人間と同じように思考させることが可能なシステムです。共通化の規則が「見つからない」のであれば、システム自身に考えて「見つけさせればいい」のです。

人と同じように考えさせることで、企業ホームページ内に業種の説明などが全くなくとも、しっかりと業種分類を自動で行うことができます。この時、一般的な市販の企業リストなどでは、製造業というように大きな分類となってしまいますが、クローラー＋AIを活用すると、部品を作る企業なのか、組み立てする企業なのか、それとも物流と製造の中間のような微妙なポジションの企業なのかなど、かなり詳細な分類に分けていくことが可能です。さらに、企業ホームページの他に、ネットメディアの広告枠のデータなども調べさせ、複合的に考えさせることで、予算の利用状況などもある程度把握できます。こうした情報をつなぎ合わせることで、営業やマーケティング担当者がうれしい、適切な見込み客リストを作り出すことができるようになるわけです。

AIは「人がチェックしている項目をチェックする」＋「人が気づきにくい斜め上の項目をチェックする」で高精度な判定をしていく

企業ホームページには何一つ記載がない情報を、どうやってAIは抽出して判定していくのか。それは「人がチェックしている項目をチェックする」＋「人が気づきにくい斜め上の項目をチェックする」という２つで実現しています。「人がチェックしている項目」というのは、人間が企業ホームページをチェックするときに、無意識に行っているすべてのチェックをすべて実施し、同レベルの判断を行うというものです。人間は、企業ホームページ上に取り扱ってる商品やサービスなどから業種を判定したり、企業のホームページ上に詳細な情報がなければ、その企業について語っている他のサイトを参考に判定していきます。外部のサイトというのは、クチコミサイトであったり、求人広告サイトであったり、特定の業界のポータルサイトであったりします。どういうサイトに掲載されているか、どういう記載があるか、こういった情報を総合的に考え、その企業の業界であったり、予算の有無、規模などを、記載がなくともて判定をしているわけです。これと同じことをAIは行っていくわけですが、学習量によって、より細かなチェックを行うことができるようになるので、人と同じように新人から始まり、どんどん成長を続けて、最終的にはベテランの営業マネージャーのような精度で判断できるようになります。

AIならではというところでは、「人が気づきにくい斜め上の項目」をチェックをするというものがあります。これは人間の弱い部分になりますので、人工知能だからこその強みともいえるところです。人間は、自分が学習した記憶を元に何かを判断していきます。たとえば、「ねじ」という商品があれば、製造業だと判断したりするのは、ねじ＝製造業という情報があるからです。これらの情報は多くの場合、精度の向上に役立つものですが、こうした情報は悪いバイアスとなる場合もあります。たとえば、企業ホームページには、標準的な項目以外に事業や商品について一切の記載がない状態があったとします。この同一の企業と思われるところが、製造業のポータルサイトに掲載されていた場合、人間的な判断ではこの企業は製造業でるとポイントを加算していくことになります。しかし、製造業のポータルサイトと思っていたものが、ある時、すべての業界の企業を紹介するポータルサイトに変わっていたらどうでしょうか。当然、業種判定は大きく誤る結果となります。この例はわかりやすくするために稚拙なものとなっていますが、市場、世の中は常に変化するため、そうしたところを学習し、常に最新の情報で判断をしなければなりません。しかし、人間の場合、外部の変化に対する意識は年齢とともに弱くなり、過去の学習体験によって判断しがちです。そのため、昔であれば正解だったが、今は不正解という判断をすることも少なくありません。常に、それは本当か？という自問自答を行い、検証していくことでより高い精度の答えを出す。感情がないからこそできる、フラットな行動はAIならでは精度を生み出していきます。

インターネットは営業やマーケティング担当者にとっては、売上を伸ばすための貴重な情報がたくさん詰まった宝の山です。クローラー＋AIの活用することで、魅力的なネット上の情報を的確に使いこなすことができるようになります。ここで紹介した情報が、売り上げを本気で伸ばしたいと思っている、営業マネージャーや経営者の皆様の参考になれば幸いです。