クローラー

クローラーとは、インターネット上のアンカーリンクをたどってサイトの情報を収集し、検索エンジンのインデックスを作成していくプログラムです。別名スパイダーとも言われています。
Googleでは、このクローラーを使って膨大な量のWebページのインデックスを作成し、 検索結果に表示しています。 クローラーがインターネットを巡回する頻度は月に1回程度ですが、正確な回数やどのようなタイミングで巡回しているのかは明らかにされていません。
通常のクローラーの他に、ニュースサイト等毎日更新されるウェブサイトを中心に巡回するフレッシュクローラーがあります。