Webクローラーというとサーバ上でクロールプログラムが動き続けるのをイメージされる方が多いと思います。事実、ほとんどのプロジェクトでは、こうしたWebクローラーが利用されますが、近年、より人に近い動きをするWebクローラープログラムに注目が集まっています。それはRPA（ロボティックプロセスオートメーション）と呼ばれる概念のもので、デジタルレイバーとも呼ばれています。この手法の特徴としては、高速な処理を実現することを第一の目的とするのではなく、速度を犠牲にしても、より人の動作に近い、模倣精度の高さを重視している点が挙げられます。多くの自動化アプリケーションは、人と同じ画面で、人と同じソフトウェアを使うことはありません。しかし、このデジタルレイバーの方法では、ソフトウェアロボットが人の代わりにPCやソフトを使って操作を代行していきます。たとえば、人が手動でWebページからデータを収集しようとすると、ブラウザを立ち上げて、Googleなどの検索エンジンで検索を行い、表示されたサイトの一覧から適切と思われるサイトを探し、確認をして、目的とするサイトであれば、それをエクセルなどに貼り付けて保存したりする作業を行います。この作業の手順、そして利用されるPCやソフトウェアなどをまったく変えることなく、操作する人が、ロボットに変わるというわけです。

デジタルレイバー方式では導入のための勉強会も社内のシステム改修もまったく必要がなし

デジタルレイバーは人の動作をソフトウェアロボットが代行するものですが、より人に近い動きをするメリットは導入作業の容易さにあります。通常、新しいシステムを導入する際、社内の他のシステムとの連携を踏まえて改修を行ったり、新しいシステムの説明を行い、みんなに知ってもらうための勉強会などを行ったりする必要があります。Webクローラーも例外ではなく、システムに自動で取り込むデータを収集する場合、どこにデータを置くのか、データを取り込むのをどうするかなど、既存の工程やシステムの影響範囲を調査し、変更を加えていく必要があります。それに対してデジタルレイバーによるWebクローラーは、収集する方法も、収集して作ったデータもいままで人がやっていたものと全く同じです。作成したデータの入稿がメールで添付して送るというものであった場合、それと全く同じ方法を再現することが可能です。つまり、いままでと何も変わらないため、変更する必要が一切ないというのが非常に大きなメリットといえます。

人でないと無理だと思われているような複雑な動作が必要なWebクローラーもデジタルレイバー方式だと実現が可能

デジタルレイバー方式でWebクローリングをしていくメリットとしては、通常のWebクローラーでは実現が難しい、”人とWebクローラーの差異を見つけられないような複雑な人間的な動作”を行いながら収集することができるということもあげられます。人はパソコンを使った作業をする場合、マウスの操作、内容を閲覧している待ち時間、リンクだけでなく何もない画面上で行われるクリック、複数のページの情報の比較をするためのウインドウの移動など、合理性から考えると無駄と思われる大量の行動が存在します。通常のWebクローラーでは、こうした人間的な無駄な作業はすべて排除されますが、デジタルレイバーが動作させるWebクローラーアプリケーションでは、こうした無駄を作り、限りなく人に近づけることも可能です。これは人でないと収集が難しいデータを集める際などに有効で、デジタルレイバーならではのメリットといえます。

Webクローラーは数年前まで、いかに早く収集するかがポイントになっていましたが、最近は、より人に近い動作をさせ、より正確に、そしてより導入負担の少ないものが注目されるようになってきました。RPA的なアプローチで作り上げる、デジタルレイバーによるWebクローリングアプリケーションもそうした中で、少しずつ注目度が上がってきています。収集するツール探しの時代から、労働力の代替手段探しの時代に変化していっていることの表れともいえる、新しWebクローリング手法、自動化、省人化を検討されている皆様はぜひ検討されてみてはいかがでしょうか