robots.txt
Die robots.txt ist eine Datei im Stammverzeichnis einer Website, die Suchmaschinen sagt, welche Bereiche sie nicht abrufen sollen.
Die robots.txt ist eine einfache Textdatei im Stammverzeichnis einer Website. Sie sagt Suchmaschinen und anderen automatischen Besuchern, welche Bereiche sie nicht abrufen sollen. Erreichbar ist sie immer unter derselben Adresse — Rechnername plus /robots.txt —, und zwar für jeden.
Sie ist eine Bitte, keine Sperre. Wer sich nicht daran hält, wird nicht gehindert. Die großen Suchmaschinen halten sich daran; viele Datensammler tun es nicht.
Das häufigste Missverständnis
Eine Seite in der robots.txt auszuschließen verhindert nicht, dass sie in den Suchergebnissen auftaucht. Es verhindert nur, dass die Suchmaschine sie liest. Verlinkt jemand von außen darauf, kann die Adresse trotzdem erscheinen — dann ohne Titel und ohne Beschreibung, mit einem Hinweis, dass der Inhalt nicht abgerufen werden konnte. Das sieht schlechter aus als ein normales Ergebnis.
Wer eine Seite wirklich aus den Ergebnissen halten will, braucht die Anweisung noindex auf der Seite selbst. Und damit die Suchmaschine diese Anweisung lesen kann, darf die Seite gerade nicht blockiert sein. Beides zusammen hebt sich auf — ein Fehler, der sehr oft zu sehen ist: Die Seite ist gesperrt, trägt ein noindex, das niemand liest, und bleibt deshalb im Index.
Was sinnvollerweise hineingehört
Bereiche ohne eigenständigen Inhalt, die Abrufzeit verbrauchen, ohne etwas beizutragen: interne Suchergebnisse, Druckansichten, Warenkörbe, Anmeldebereiche, endlose Filterkombinationen, Kalenderansichten, die bis ins Jahr 2090 weiterblättern.
Dazu der Verweis auf die XML-Sitemap. Er gehört nicht zwingend hierher, ist aber der bequemste Ort, weil jede Suchmaschine die Datei ohnehin abruft.
Was nicht hineingehört
Alles, was geheim bleiben soll. Die Datei ist öffentlich lesbar, und ein Eintrag ist eine Wegbeschreibung: Wer dort /intern/patientendaten/ ausschließt, hat dieses Verzeichnis gerade bekannt gemacht. Zugangsschutz gehört auf den Server, nicht in eine Bitte an Höfliche.
Ebenfalls nicht hinein gehören Bereiche, die für die Darstellung gebraucht werden. Werden Stylesheets, Schriften oder Skripte gesperrt, kann die Suchmaschine die Seite nicht so sehen wie ein Besucher — und bewertet unter anderem die Bedienbarkeit auf dem Telefon falsch. Das war lange ein verbreiteter Fehler und steht in alten Vorlagen bis heute.
Besonderheiten im Gesundheitswesen
Zwei Dinge treten hier häufiger auf als anderswo. Erstens Terminbuchungssysteme von Drittanbietern, die unter einem Unterverzeichnis oder einer Unterdomain laufen: Deren Seiten haben in den Suchergebnissen meist nichts verloren, und ein Ausschluss spart Abrufzeit. Zweitens Portale und Verzeichnisse, die Inhalte automatisch einsammeln — hier hilft die Datei wenig, weil sich diese Sammler oft nicht daran halten.
Neu hinzugekommen sind die Sammler der KI-Anbieter. Sie lassen sich über eigene Einträge ausschließen, und das ist eine echte Entscheidung: Wer sie aussperrt, kommt in den Antworten dieser Systeme seltener vor. Für eine Einrichtung, die über Sichtbarkeit neue Patienten gewinnt, ist das selten gewollt; für eine Einrichtung, deren Texte abgeschrieben werden, kann es anders aussehen.
Wie man sie prüft
Die Datei im Browser aufrufen — sie muss erreichbar sein und als reiner Text ausgeliefert werden. Dann in den Werkzeugen der Suchmaschine nachsehen, ob sie dort in der erwarteten Fassung ankommt; bei Umzügen und Testumgebungen passiert es regelmäßig, dass eine Datei mit einer vollständigen Sperre mit umzieht und die ganze Website unsichtbar macht.
Diese vollständige Sperre — zwei Zeilen, die jeden Abruf untersagen — gehört zu den teuersten Fehlern überhaupt. Sie wird in der Entwicklung gesetzt und beim Livegang vergessen. Nach jedem Umzug und jedem Relaunch ist sie das Erste, was geprüft gehört.
Der Aufbau in Kürze
Die Datei besteht aus Gruppen. Jede Gruppe beginnt mit einer Zeile, die sagt, für welchen Roboter sie gilt, und nennt darunter die Pfade, die er meiden soll. Ein Stern steht für alle Roboter. Eine Gruppe mit eigenem Namen ersetzt für diesen Roboter die allgemeine Gruppe vollständig — sie ergänzt sie nicht. Wer für einen einzelnen Roboter eine Ausnahme schreibt und die allgemeinen Regeln dort nicht wiederholt, hat sie für ihn aufgehoben.
Pfade werden vom Anfang her verglichen, und Groß- und Kleinschreibung zählen. /Intern/ und /intern/ sind zwei verschiedene Angaben. Eine leere Sperrzeile sperrt nichts; ein einzelner Schrägstrich sperrt alles.
Eine Datei je Rechnername
Die Datei gilt nur für den Rechnernamen, unter dem sie liegt. Eine Unterdomain für die Terminbuchung, für das Karriereportal oder für einen Patientenbereich braucht ihre eigene. Dasselbe gilt für die Fassungen mit und ohne www, solange nicht eine auf die andere weiterleitet.
Übersehen wird das vor allem bei Testumgebungen. Eine Vorschauversion unter einer eigenen Unterdomain, die ohne Schutz erreichbar ist und keine Sperre trägt, landet früher oder später in den Suchergebnissen — mit Platzhaltern, halbfertigen Seiten und im ungünstigsten Fall als Doppelung der echten Website. Der richtige Schutz dafür ist ein Kennwort, nicht die robots.txt.
Wie schnell Änderungen wirken
Nicht sofort. Suchmaschinen halten die Datei eine Weile vor und rufen sie etwa einmal täglich neu ab. Eine versehentliche Sperre wirkt also verzögert — und ihre Aufhebung ebenso. Wer einen Fehler bemerkt, kann in den Werkzeugen für Websitebetreiber einen erneuten Abruf anstoßen.
Erstgespräch
Sprechen wir über Ihre digitale Sichtbarkeit.
Wir sehen uns Ihre Situation an und sagen Ihnen, was zuerst lohnt — kostenfrei und unverbindlich.