Was ist Crawler?

Der Begriff Crawler bezeichnet ein Programm mit dessen Hilfe das Internet nach neuen Inhalten durchsucht werden kann. Dieses Programm ist im Netz auch als Bot oder Spider bekannt. Genutzt wird dieses Programm hauptsächlich von Suchmaschinen-Anbietern. Diese benötigen es, um neue Webseiten zu finden. Außerdem wird es von Suchmaschinen-Anbietern verwendet, um bereits gelistete Webseiten nach neuem Inhalt zu filtern. Die Abfrage geschieht dabei automatisch. Neben dem Inhalt der Webseiten werden zusätzlich Email-Adressen und Web-Feeds gesammelt.

Geschichte der Crawler

Crawler werden im Internet bereits seit vielen Jahren eingesetzt. So erschien im Jahr 1993 der erste Crawler, der als World Wide Web Wanderer bekannt war. Mit ihm sollte das Internetwachstum gemessen werden. 1994 wurde dann der WebCrawler ins Leben gerufen. Hier handelte es sich um die erste Suchmaschine mit Volltextindex im World Wide Web.
Unser SEO Glossar bietet Ihnen zahlreiche Definitionen von Fachbegriffen aus dem Bereich der Suchmaschinenoptimierung.