Crawling
Crawling bezeichnet das automatische Abrufen von Webseiten durch Suchmaschinen, bevor deren Inhalte bewertet und aufgenommen werden.
Crawling ist das automatische Abrufen von Seiten durch einen Suchmaschinenroboter. Er folgt Verweisen von Seite zu Seite, holt sich, was er findet, und reicht es weiter. Erst danach entscheidet sich, ob ein Inhalt in den Bestand aufgenommen wird.
Für jede Website steht dabei nur eine begrenzte Aufmerksamkeit zur Verfügung. Wie viel, hängt davon ab, wie wichtig die Website eingeschätzt wird und wie gut der Server antwortet. Eine kleine Praxisseite wird seltener besucht als ein Klinikverbund mit tausenden Seiten — und das ist unproblematisch, solange die Aufmerksamkeit nicht an der falschen Stelle verbraucht wird.
Wo die Aufmerksamkeit verlorengeht
Der größte Posten sind Adressen, die es eigentlich gar nicht geben sollte. Filterkombinationen, die sich beliebig verketten lassen. Interne Suchergebnisse, die mit jedem Suchbegriff eine neue Adresse erzeugen. Druckansichten neben jeder normalen Seite. Kalender, die endlos weiterblättern. Sitzungskennungen in der Adresse.
Jede dieser Adressen wird abgerufen, gelesen und verworfen — und die Zeit dafür fehlt bei den Seiten, die zählen. Bei einer Klinikseite mit echten dreihundert Inhaltsseiten können so leicht zehntausend Adressen entstehen.
Der zweitgrößte Posten sind Weiterleitungsketten. Eine Adresse, die auf eine zweite zeigt, die auf eine dritte zeigt, kostet drei Abrufe statt einem. Solche Ketten entstehen über die Jahre bei jedem Umbau und bleiben unbemerkt, weil sie für Besucher funktionieren.
Was das Abrufen erschwert
Lange Ladezeiten. Ein Roboter, der auf jede Seite zwei Sekunden wartet, schafft in derselben Zeit ein Fünftel dessen, was er bei 400 Millisekunden schaffen würde — und drosselt sich zusätzlich, um den Server nicht zu belasten.
Serverfehler. Antwortet eine Website wiederholt mit Fehlern oder ist sie zeitweise nicht erreichbar, wird das Abrufen zurückgefahren und erst nach und nach wieder hochgefahren. Ein einstündiger Ausfall ist unkritisch; wiederkehrende Aussetzer sind es nicht.
Und Inhalte, die erst durch ein Skript entstehen. Sie zu verarbeiten kostet ein Vielfaches eines einfachen Abrufs, und entsprechend zurückhaltend wird es gemacht.
Was man dagegen tut
Zuerst messen, nicht raten. Die Werkzeuge der Suchmaschine für Websitebetreiber zeigen, wie viele Adressen täglich abgerufen werden, wie lange eine Antwort im Mittel dauert und welche Antworten dabei herauskommen. Steht dort ein hoher Anteil Weiterleitungen oder Fehler, ist die Ursache meist mit wenigen Handgriffen zu beheben.
Danach die überflüssigen Adressen abstellen: Filter und interne Suche über die robots.txt ausschließen, Weiterleitungsketten auf einen Schritt verkürzen, Parameter vermeiden, wo sie nicht nötig sind.
Und schließlich die wichtigen Seiten gut erreichbar machen. Eine Seite, die von der Startseite in zwei Schritten erreichbar ist, wird regelmäßig besucht; eine, die fünf Klicks tief in einer Rubrik liegt, selten. Bei Lexika und Magazinen hilft eine Registerseite, die alle Einträge auflistet.
Nicht jeder Roboter ist eine Suchmaschine
Ein erheblicher Teil der automatischen Abrufe stammt nicht von Suchmaschinen. Dazu gehören die Sammler der KI-Anbieter, die Roboter von Analyse- und Prüfwerkzeugen, Preis- und Verzeichnisdienste, die Daten einsammeln, und schlicht bösartige Abrufe, die nach Schwachstellen suchen.
Für die Sichtbarkeit sind die meisten davon belanglos, für den Server nicht. Wo ein kleiner Server unter automatischen Abrufen leidet, lohnt ein Blick darauf, wer da eigentlich kommt — und eine gezielte Sperre auf Serverebene für das, was keinen Nutzen bringt.
Wo man es sieht
In den Werkzeugen der Suchmaschine für Websitebetreiber steht die eine Hälfte: was diese eine Suchmaschine abruft. Die andere Hälfte steht in den Zugriffsprotokollen des Servers — dort ist jeder Abruf verzeichnet, mit Zeitpunkt, Adresse und der Kennung des Abrufers.
Diese Protokolle auszuwerten ist aufwendiger, zeigt aber Dinge, die sonst niemand sieht: welche Bereiche nie besucht werden, welche Adressen hundertfach abgerufen werden, obwohl sie niemand braucht, und wie viel der Last von Robotern stammt. Zu beachten ist, dass solche Protokolle IP-Adressen enthalten und damit personenbezogene Daten sind.
Wann das Thema keine Rolle spielt
Bei einer kleinen, sauber gebauten Website. Eine Praxis mit vierzig Seiten, einer vernünftigen Navigation und einem Server, der zügig antwortet, hat kein Problem mit dem Abrufen — jede ihrer Seiten wird ohnehin regelmäßig besucht. Wer dort an der Abruffrequenz optimiert, optimiert am falschen Ende.
Relevant wird es mit der Größe und mit der Technik: bei Verbünden mit tausenden Seiten, bei Verzeichnissen mit Filtern, bei Websites, deren Inhalte erst im Browser entstehen. Dort kann es der Grund sein, warum neue Inhalte wochenlang nicht erscheinen.
Erstgespräch
Sprechen wir über Ihre digitale Sichtbarkeit.
Wir sehen uns Ihre Situation an und sagen Ihnen, was zuerst lohnt — kostenfrei und unverbindlich.