クローラーには特定のサイトのコンテンツの収集、データ整形に最適化したアプリ型クローラーと、ネット上のリンクなどを辿って情報を自律的に見つけ出して収集するロボット型クローラーがあります

クローラーのタイプ

アプリ型クローラー

指定された箇所のページデータを取得し続け、HTMLから項目ごとにデータを分割し、CSVやエクセルなど希望形式のデータファイルで提供します。指定されたサイトの、特定の箇所に表示されるデータを収集、項目ごとに分解し、営業リストなどで利用する場合や、指定された周期や日時までに、確実に指定データを収集、更新をしたい場合などに適しているクローラーです。

ロボット型クローラー

ロボット型クローラーは、取得したHTMLのソースの中からリンクされているページや呼び出されている画像をクロールして収集します。指定されたサイト内のデータをすべてを収集して、分析、監視、検索エンジンなどのアプリケーションで利用する抽出する場合や、指定したサイト以外にも、リンクが貼られているすべてのサイトのページデータなどを自動的に収集したい場合に適しているクローラーです。