Was ist Robot.txt?

Robot.txt ist eine Textdatei, in der Bereiche einer Domain von einer Suchmaschine festgelegt werden können. Hierbei besteht die Möglichkeit, einzelne Dateien oder ganze Verzeichnisse auszuschließen. Hinterlegt wird die Robot.txt Datei im Root der Domain. Wird eine Website aufgesucht, so ist sie das erste Dokument, das ein Boot abruft.

Hintergrund Robot.txt

Möchten Webmaster das Verhalten von Suchmaschinencrawlern beeinflussen und steuern, so ist die Robot.txt eine gute Wahl. Ebenso können darin ein Verweis auf die XML Sitemap mit aufgenommen werden, um den Crawlern einer Suchmaschine mitzuteilen, wie der Aufbau der Website im Bereich URL Struktur ist. Ebenso können Beziehung in der Unterseite mit Meta-Tags übertragen werden. Gibt es den Wert No-Index, dann heißt dies dass die Seite von der Indizierung ausgeschlossen werden soll. Robot.txt Datei zielt somit auf Bereiche einer Domain ab, die sich dann wiederum auf das Ranking der Suchmaschine auswirkt.
Unser SEO Glossar bietet Ihnen zahlreiche Definitionen von Fachbegriffen aus dem Bereich der Suchmaschinenoptimierung.