Home     FAQ     Anmelden     Registrieren  
 
      Mainmenü
· Home
· Impressum
· Link Uns
· News Archiv
· Statistik
· Suche
· Umfragen

      Who's Online
Zur Zeit sind 48 Gäste und 0 Mitglied(er) online.

Sie sind ein Gast. Sie können sich hier anmelden

      Login


Dein Benutzername (max. 25 Zeichen)


Dein Passwort (max. 20 Zeichen)
Kostenlos registrieren! Dannach haben Sie Zugang zum kompletten Webmasterarchiv!

      Das Archiv
· Scripts & Co
· Grafiken & Co
· Animierte Gifs
· Tipps & Tricks
· Service Tools
· Webmaster Links
· FAQ

 

 robots.txt und XML-Sitemap erstellen: Aufbau, Beispiele, Fehler


Ratgeber für Webmaster

Veröffentlicht am Montag, 16. November 2026 um 04:14:01 von webmaster

Die robots.txt sagt Crawlern, welche Bereiche sie auslassen sollen, die XML-Sitemap zählt auf, welche Seiten es gibt. Beide Dateien sind in ein paar Minuten geschrieben. Ein falsches Zeichen genügt aber, und Suchmaschinen dürfen deine ganze Website nicht mehr abrufen. Hier findest du Beispiele zum Anpassen, die häufigsten Fehler und den Weg, die Sitemap bei Google und Bing anzumelden.



Ablauf: Die robots.txt entscheidet über das Abrufen, noindex über die Aufnahme in den Index

Eine robots.txt erstellen kann jeder mit einem Texteditor. Schwieriger ist die Frage, was hineingehört, denn die Datei steuert weniger, als viele glauben. Sie bittet Crawler, bestimmte Adressen nicht abzurufen. Ob eine Seite in den Suchergebnissen erscheint, regelt sie nicht.

Was die robots.txt kann und was nicht

Ein Crawler holt sich zuerst die Datei /robots.txt und richtet sich nach den Regeln darin. So hältst du ihn von Bereichen fern, deren Abruf nichts bringt: interne Suchergebnisse, Warenkorb, endlose Filterkombinationen, Druckansichten. Das schont den Server und lenkt den Crawler auf die Seiten, die zählen.

Was die Datei nicht leistet:

  • Seiten aus dem Index halten. Ist eine gesperrte Adresse von anderswo verlinkt, kann sie trotzdem im Suchergebnis auftauchen, dann ohne Beschreibung.
  • Etwas schützen. Die Datei ist öffentlich. Wer dort /intern/ einträgt, zeigt Neugierigen, wo es etwas zu sehen gibt. Und Crawler, die sich nicht an Regeln halten, ignorieren sie einfach.
  • Eine Seite auf noindex setzen. Eine Zeile noindex in der robots.txt beachtet Google seit 2019 nicht mehr. Die Regel gehört in die Seite selbst, als Meta-Tag, oder bei PDF-Dateien und Bildern in die HTTP-Kopfzeile X-Robots-Tag.

Für das noindex gilt eine Bedingung, die oft übersehen wird: Der Crawler muss die Seite abrufen dürfen, sonst sieht er die Anweisung nie. Wie das Meta-Tag aussieht und was sonst in den Seitenkopf gehört, steht in Title und Meta-Description schreiben. Zusammenklicken lässt es sich mit dem Meta-Tag-Generator. Für PDF-Dateien setzt du die Kopfzeile auf einem Apache-Server mit dem Modul mod_headers in der .htaccess:

<FilesMatch "\.pdf$">
  Header set X-Robots-Tag "noindex"
</FilesMatch>

Ob die Kopfzeile ankommt, zeigen die Entwicklertools des Browsers im Reiter „Netzwerk“.

Welches Mittel für welches Ziel

Oft soll die robots.txt etwas leisten, das sie nicht kann. Welches Mittel wofür passt:

ZielRichtiges MittelWorauf du achtest
Crawler sollen einen Bereich nicht abrufenDisallow in der robots.txtDie Adressen können trotzdem im Index landen.
Eine Seite soll nicht in den Suchergebnissen stehennoindex als Meta-Tag oder X-Robots-TagDie Seite nicht zusätzlich in der robots.txt sperren.
Gleicher Inhalt unter mehreren AdressenCanonical-Link auf die bevorzugte AdresseWird die zweite Adresse nicht gebraucht, besser weiterleiten.
Inhalt nur für BerechtigtePasswortschutz auf dem Serverrobots.txt und noindex schützen nichts.
Seite ist dauerhaft gelöschtStatuscode 410, 404 geht auchDie Adresse aus der Sitemap nehmen.
Neue Seiten schneller bekannt machenXML-SitemapEin Hinweis, keine Garantie für die Aufnahme.

Wie sich 404 und 410 unterscheiden und wie du eigene Fehlerseiten einrichtest, erklärt HTTP-Statuscodes und eigene Fehlerseiten. Einen Ordner mit Passwort sperrst du, wie in der FAQ-Antwort Wie schütze ich ein Verzeichnis mit einem Passwort? beschrieben.

robots.txt erstellen: Aufbau und Beispiele

Die Datei ist reiner Text in UTF-8 und heißt genau robots.txt, in Kleinbuchstaben. Sie liegt im Hauptverzeichnis, erreichbar unter https://www.example.com/robots.txt. In Unterordnern sucht kein Crawler danach. Sie gilt nur für das Protokoll und den Host, unter dem sie liegt: Für example.com ohne www und für jede Subdomain brauchst du eine eigene.

Eine Gruppe beginnt mit einer oder mehreren Zeilen User-agent, darunter folgen die Regeln. Ein typisches Beispiel für eine kleine Website:

# robots.txt für www.example.com
User-agent: *
Disallow: /suche
Disallow: /warenkorb/
Disallow: /*?druck=

Sitemap: https://www.example.com/sitemap.xml
  • User-agent: * spricht alle Crawler an.
  • Eine Regel gilt für jede Adresse, deren Pfad so beginnt. Disallow: /suche sperrt also auch /suche.html und /suchergebnisse/. Groß- und Kleinschreibung zählt.
  • Der Stern steht für beliebig viele Zeichen. /*?druck= trifft jede Adresse, in der ?druck= vorkommt.
  • Ein Dollarzeichen markiert das Ende: Disallow: /*.pdf$ sperrt alle Adressen, die auf .pdf enden.
  • Mit # beginnt ein Kommentar.

Ausnahmen mit Allow

Soll aus einem gesperrten Ordner eine einzelne Datei erreichbar bleiben, hilft Allow:

User-agent: *
Disallow: /downloads/
Allow: /downloads/preisliste.pdf

Passen zwei Regeln auf dieselbe Adresse, gilt die mit dem längeren Pfad, also die genauere. Hier gewinnt deshalb Allow. Sind beide Pfade gleich lang, nimmt Google die weniger strenge Regel, also ebenfalls Allow. Die Reihenfolge der Zeilen spielt nach dem Standard keine Rolle.

Regeln für einen einzelnen Crawler

Ein Crawler befolgt nur die Gruppe, die ihn am genauesten bezeichnet. Steht in der Datei eine Gruppe User-agent: Googlebot, liest Googlebot die Regeln unter User-agent: * nicht mehr. Was für alle gelten soll, musst du dann in beiden Gruppen wiederholen.

Häufige Fehler in der robots.txt

  1. Die ganze Website gesperrt. Disallow: / sperrt alles, Disallow: ohne Schrägstrich erlaubt alles. Die gesperrte Fassung stammt oft aus einer Testumgebung und wandert beim Umzug mit auf den echten Server. Ruf die Datei nach jedem Umzug im Browser auf.
  2. CSS und JavaScript gesperrt. Google ruft eine Seite mitsamt Stylesheets und Skripten ab und stellt sie dar wie ein Browser. Fehlen diese Dateien, sieht Google womöglich eine andere Seite als deine Besucher und wertet sie schlechter aus. Ordner wie /css/ oder /js/ gehören nicht in die robots.txt.
  3. Sperren und noindex zugleich. Der Crawler sieht das noindex dann nie, die Adresse kann im Index bleiben. Lass die Seite erst aus dem Index fallen und sperre sie danach, falls nötig.
  4. Serverfehler statt Datei. Liefert /robots.txt den Status 404, nimmt Google an, dass alles erlaubt ist. Antwortet der Server dagegen mit einem 5xx-Fehler, behandelt Google die Website vorübergehend so, als wäre alles gesperrt.

Die XML-Sitemap: Aufbau und Inhalt

Die Sitemap ist eine Liste der Adressen, die in die Suchergebnisse sollen. Suchmaschinen finden darüber Seiten, auf die wenige Links zeigen, und erfahren, wann sich eine Seite geändert hat. Sie behandeln die Liste als Hinweis, nicht als Auftrag.

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://www.example.com/</loc>
    <lastmod>2026-11-02</lastmod>
  </url>
  <url>
    <loc>https://www.example.com/preise.html</loc>
    <lastmod>2026-10-18</lastmod>
  </url>
  <url>
    <loc>https://www.example.com/liste.php?id=3&amp;seite=2</loc>
  </url>
</urlset>
  • Pflicht ist nur loc mit der vollständigen Adresse samt https://. Die Datei ist UTF-8-kodiert, ein & in der Adresse wird zu &amp;.
  • lastmod nennt das Datum der letzten echten Änderung am Inhalt. Google wertet die Angabe nur aus, wenn sie verlässlich stimmt. Ein Skript, das täglich das heutige Datum einträgt, macht sie wertlos.
  • changefreq und priority kannst du weglassen, Google übergeht beide.

Hinein gehören Adressen, die mit Status 200 antworten und in den Index sollen, jeweils in der Fassung, die du als Canonical angibst. Draußen bleiben Adressen, die per 301-Weiterleitung woandershin führen, gelöschte Seiten, Seiten mit noindex, alles, was die robots.txt sperrt, und Doppelungen mit Parametern wie ?sort=preis.

Leg die Sitemap ins Hauptverzeichnis. Dort darf sie Adressen der ganzen Website enthalten, in einem Unterordner nach dem Protokoll nur Adressen darunter. Eine Datei fasst höchstens 50.000 Adressen und darf unkomprimiert höchstens 50 MB groß sein. Packen mit gzip ist erlaubt, die Grenze gilt aber für die entpackte Größe. Wird es mehr, verteilst du die Adressen auf mehrere Sitemaps und verweist auf sie aus einem Sitemap-Index mit dem Wurzelelement sitemapindex. Kleine Websites kommen mit einer Datei aus, und viele Redaktionssysteme erzeugen sie selbst. Prüfe dann nur, ob die richtigen Adressen darin stehen.

Die Sitemap anmelden

Von der Sitemap erfahren Suchmaschinen auf zwei Wegen, und du kannst beide nutzen:

  1. Eine Zeile Sitemap: in der robots.txt, mit vollständiger Adresse wie im Beispiel oben. Sie darf an beliebiger Stelle stehen und gehört zu keiner User-agent-Gruppe. Für mehrere Sitemaps schreibst du mehrere Zeilen.
  2. Die Werkzeuge der Suchmaschinen: in der Google Search Console der Bericht „Sitemaps“, bei Bing die Bing Webmaster Tools. Dazu bestätigst du dort einmal, dass die Website dir gehört. Danach siehst du, wann die Sitemap zuletzt gelesen wurde und ob sie Fehler enthält.

Ältere Anleitungen empfehlen außerdem, Google über eine Ping-Adresse zu benachrichtigen. Google hat diese Adresse abgeschaltet, Aufrufe enden mit dem Status 404. Skripte und Plugins, die sie noch aufrufen, bewirken nichts mehr. Mit welchen Wartezeiten du nach der Anmeldung rechnen musst, steht in der Antwort Wie lange dauert es, bis eine neue Seite bei Google erscheint? Wie du prüfst, ob eine Seite im Index steht, erklären die FAQ zu Suchmaschinen.

Weiterlesen




Vorherige Meldung: Ladezeit der Website verbessern: erst messen, dann gezielt ändern · Nächste Meldung: Title und Meta-Description schreiben: Länge, Aufbau und Beispiele · Alle Meldungen im Archiv


      Verwandte Links

· Zum Thema:
   Ratgeber für Webmaster

· Nachrichten von webmaster


Der meistgelesene Artikel zu dem Thema Ratgeber für Webmaster:
Website auf HTTPS umstellen: Anleitung in sieben Schritten


      Bewertung
Punkte im Schnitt: 0
Stimmen: 0

Bewerten Sie doch diesen Artikel:

Schlecht
In Ordnung
Gut
Sehr Gut
Ausgezeichnet



      Einstellungen

Druckbare Version  Druckbare Version

Send a Friend  Send a Friend

Sorry, kein Kommentar für diesen Artikel vorhanden.