Webgestaltung
   Projekte   ROBOTS.TXT

 

Jede Suchmaschine sucht im Hauptverzeichnis einer WebSite nach der Datei ROBOTS.TXT, die Informationen dazu enthält, welche Seiten für eine Erfassung in einer Suchmaschine nicht indiziert werden darf.

 

Bei der Anlage der Datei gibt es drei Bereiche zu beachten:

 

  1. Schreiben Sie einen Kommentar in die Datei, damit wenn Sie die WebSite nicht alleine betreuen auch Ihre Kollegen wissen, wofür diese Datei gut ist und sie nicht einfach löschen. Leiten Sie die Kommentarzeilen mit einem '#'-Zeichen ein und schreiben dann ihren Sinn und Zweck auf.

  2. Tragen Sie ein, welche Suchmaschinen bestimmte Inhalte Ihrer WebSite nicht erfassen sollen. Das geschieht durch das Kennzeichen USER-AGENT: und darauf folgend dem Namen der Suchmaschine. Sollen die Einträge für alle Suchmaschinen gelten, so schreiben sie einfach ein '*' an diese Stelle.

  3. Geben Sie an, welche Verzeichnisse nicht indiziert werden sollen. Schreiben Sie das Kennzeichen DISALLOW: gefolgt von dem Verzeichnisnamen. Wollen Sie alle Verzeichnisse ausschließen, so schreiben Sie einfach '/' an diese Stelle. !!! ACHTUNG !!! Schließen Sie jeden Verzeichnisnamen mit '/' ab, da sonst alle Verzeichnisse, die mit diesem Namen anfangen genommen werden!

Im folgenden sehen Sie eine Demo-Datei, die Sie für Ihre WebSite benutzen können:

 

# robots.txt for http://www.zartsoft.de/

User-agent: *
Disallow: /cgi-bin/ # keep robots out of the executable tree
Disallow: /private/

!! Achtung !!! Wenn Sie bestimmte Inhalte vor Einsicht fern halten wollen, die sensibler Natur sind, so schützen Sie diese Verzeichnisse mit einem Passwort und legen eine Datei 'index.htm' hinein, um die unbeabsichtigte Betrachtung Fremder zu unterbinden! Ansonsten geben Sie jemanden mit der Datei ROBOTS.TXT eine Liste aller empfindlichen Inhalte Ihrer WebSite!

 

Nutzen Sie auch die Links zu diesem Thema: