Ein Crawler ist ein Programm, das automatisch Webseiten durchsucht und analysiert. Kommt ein Benutzer auf die Seite, und sagen wir einmal, sucht nach "Ferienwohnungen in Italien", spuckt die Suchmaschine das passende Ergebnis, weil der Crawler vorher die Seite nach Informationen abgegrast und die relevanten Informationen abgelegt hat. Oder einfacher gesagt, bevor ein Ergebnis angezeigt werden kann, muss es vorher erfasst werden - das macht der Crawler.

Siehe auch http://de.wikipedia.org/wiki/Webcrawler

Viele Grüße