Webクローラーはあくまで手段のひとつです。人の手で収集したデータと、Webクローラーで収集したデータには、基本的には差はありません。データを集めるだけということであれば、Webクローラーなどのシステムを使った自動データ収集も、BPO会社や個人の方などに委託した手動データ収集も、データという点から考えると違いはないということです。では、どこが違ってくるのかといえば、コストと継続性と将来性の3点です。どちらにも、それぞれ優れている点、劣っている点がありますので、プロジェクトの目的にあわせて、ベストな選択ができるように柔軟に判断することが重要です。ここでは、それぞれの違いについてご紹介していきます。

Webクローラーは大量、継続処理におすすめ。単発、少量の場合は手動で収集を依頼するほうがコストの抑制ができる

どちらを選択すべきかを悩んだ場合は、最初に「継続性」と「収集量」について考えることが重要です。まず、Webクローラーはシステムによる収集になりますので、人と比べると大量処理、そして毎日、毎時間などの継続的な稼働に非常に向いています。しかし、その反面、少量を収集する場合も、大量のものを収集する場合も、最低限以上の設備を用意する必要があるため、コスト的にはある一定以下に抑えにくいという課題があります。それに対して、人の手による手動作業での収集以来は、単発、数千件程度までの少量のデータの収集に非常に向いています。その反面、年間を通して収集してもらうような場合や、大量なデータ収集は、収集業務の安定性やコストの面から考えてシステムに比べて劣ります。

Webクローラーは変化がない限りミスの確率は低いが変化に対応するにはAIが別途必要。人は曖昧な調整までできるため変化に強いがヒューマンエラーは踏まえる必要あり。最終的にはトータルで考えてベストな選択を行うのが正解

Webクローラーは収集、データの抽出、提供といった手順を的確にこなすことに優れているため、取得対象サイトのリニューアルなどによってデータ項目が大きく変化しない限り、非常に安定し、ミスも少なく稼働させることができます。しかし。大幅に変化した場合、項目の違いを理解してどのように解釈すべきかといった部分は、通常のWebクローラーにはついていません。ここをしっかりとカバーしようとすると、AI機能も追加する必要があり、そうなるとコスト的には割高なものとなりがちです。それに対して、人はリニューアルをされた時などにも柔軟に対応しやすいという特徴があります。項目名称や内容が変わった場合などでも、類似の項目に入れ替えたりなどの変化に対応することには適しています。しかし、問題は人がやる以上、ヒューマンエラーが発生することを踏まえる必要があることです。判断ミスかもしれませんし、コピーアンドペーストの作業ミスかもしれません。何かの作業ミスというのは手動は一定の確率でどうしても行ってしまうため、手動で作成したファイルなどは納品後のチェックが、Webクローラーと比べてより労力をかけて行う必要があります。この管理コストまでを考えると、どちらがコスト的に優れているかは微妙なラインになることもあります。インターネット上のサイトは常に変化を続けています。この変化に対応すするための作業、そしてコストもしっかりと考えておく必要があります。

最近ではWebクローラーに頼らずとも、手動で収集する作業を代行してくれる個人の方に相談ができるクラウドソーシング系のサービスも増えてきています。コストが安いことだけが重要ということであれば、こうした選択肢も魅力的なもののひとつです。もちろん、継続稼働、そして品質という点で考えればシステムを使い、収集、抽出を一定のルールで確実に行うWebクローラーのほうが優れている面もありますが、プロジェクトによってはそこまで求められていない場合もあるはずです。今、進めているプロジェクトの目的から、ベストな選択をして、費用対効果の良いデータ収集を実現させていきましょう。