Sitemap und robots.txt für Eisleben: Crawling richtig steuern

Sitemap.xml und robots.txt sind zwei der grundlegendsten technischen SEO-Dateien. Zusammen steuern sie, wie Google Ihre Website crawlt und welche Inhalte indexiert werden. Falsch konfiguriert, können sie Rankings komplett verhindern — gerade bei kleineren Mittelstandsseiten in Eisleben sehen wir regelmäßig versehentliche Disallow: / oder verwaiste Sitemap-Referenzen, die monatelang Sichtbarkeit kosten. Das Aufdecken solcher Fehler gehört zur technischen SEO-Betreuung.

Was ist eine Sitemap.xml?

Eine Sitemap ist eine XML-Datei, die alle URLs Ihrer Website auflistet, die Google indexieren soll. Sie ist wie ein Inhaltsverzeichnis für den Googlebot.

Wozu brauche ich eine Sitemap?

• Neue Seiten werden schneller entdeckt und indexiert
• Google versteht, welche Seiten Sie für wichtig halten
• Hilft bei großen Websites mit vielen Seiten
• Notwendig wenn Ihre interne Verlinkung lueckenhaft ist

Brauchen kleine Websites eine Sitemap?

Technisch nicht zwingend — Google findet Seiten auch durch interne Links. Aber eine Sitemap schadet nie und beschleunigt die Indexierung. Empfehlung: immer erstellen.

---

Aufbau einer Sitemap.xml

Eine einfache Sitemap sieht so aus:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://seo-eisleben.com/</loc>
    <lastmod>2026-03-01</lastmod>
    <changefreq>monthly</changefreq>
    <priority>1.0</priority>
  </url>
  <url>
    <loc>https://seo-eisleben.com/leistungen/</loc>
    <lastmod>2026-02-15</lastmod>
    <changefreq>monthly</changefreq>
    <priority>0.8</priority>
  </url>
  <url>
    <loc>https://seo-eisleben.com/blog/local-seo-guide/</loc>
    <lastmod>2026-03-26</lastmod>
    <changefreq>weekly</changefreq>
    <priority>0.6</priority>
  </url>
</urlset>

Die wichtigsten Felder:

Feld	Bedeutung	Pflicht
<loc>	Vollstaendige URL (absolut, mit https)	Ja
<lastmod>	Datum der letzten Änderung (YYYY-MM-DD)	Nein, aber empfohlen
<changefreq>	Wie oft sich die Seite ändert	Nein
<priority>	Relative Wichtigkeit (0.0 bis 1.0)	Nein

Wichtig zu wissen: Google verwendet <changefreq> und <priority> nur als Hinweis, nicht als Pflicht. Der eigentliche Crawl-Rhythmus wird von Googles internen Signalen bestimmt.

---

Sitemap-Index für große Websites

Bei mehr als 50.000 URLs oder 50 MB Dateigröße brauchen Sie mehrere Sitemaps, koordiniert durch einen Sitemap-Index:

<?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <sitemap>
    <loc>https://seo-eisleben.com/sitemap-seiten.xml</loc>
  </sitemap>
  <sitemap>
    <loc>https://seo-eisleben.com/sitemap-blog.xml</loc>
  </sitemap>
  <sitemap>
    <loc>https://seo-eisleben.com/sitemap-leistungen.xml</loc>
  </sitemap>
</sitemapindex>

---

Was gehört NICHT in die Sitemap?

Niemals in die Sitemap aufnehmen:

• Seiten mit noindex-Meta-Tag (Widerspruch — Google ignoriert das canonical)
• Seiten mit Disallow in robots.txt
• 301-weiterleitende URLs (nur Ziel-URL aufnehmen)
• 404-Seiten
• Doppelte Inhalte (nur kanonische URL)
• Passwort-geschuetzte Seiten
• Thin Content / leere Kategorie-Seiten

Faustregel: In die Sitemap kommen nur Seiten, die Sie aktiv für das Ranking verwenden wollen.

---

Sitemap einreichen und prüfen

Google Search Console

1. search.google.com/search-console aufrufen
2. Links → Sitemaps
3. URL der Sitemap eingeben (z.B. seo-eisleben.com/sitemap-index.xml)
4. Einreichen

Die GSC zeigt dann:

• Anzahl der übermittelten URLs
• Anzahl der indexierten URLs
• Fehler (fehlende Seiten, Crawl-Fehler)

Häufiges Problem: Sitemap uebermittelt 120 URLs, aber Google hat nur 80 indexiert. Ursache: noindex auf manchen Seiten, oder Google bewertet diese Seiten als thin/doppelt. In der SEO-Analyse gleichen wir Sitemap, GSC-Report und Live-Crawl systematisch ab.

---

Was ist die robots.txt?

Die robots.txt ist eine Textdatei im Hauptverzeichnis Ihrer Website (ihre-domain.de/robots.txt). Sie gibt Suchmaschinen-Crawlern Anweisungen, welche Bereiche gecrawlt werden dürfen.

Wichtigster Unterschied zur Sitemap:

• Sitemap sagt: “Diese Seiten möchte ich indexiert haben”
• robots.txt sagt: “Diese Bereiche bitte nicht crawlen”

---

Aufbau einer robots.txt

# robots.txt für seo-eisleben.com
# Letzte Aktualisierung: 2026-03-26

User-agent: *
# Admin und private Bereiche ausschließen
Disallow: /admin/
Disallow: /intern/
Disallow: /api/
Disallow: /wp-admin/

# URL-Parameter blockieren (doppelte Inhalte vermeiden)
Disallow: /*?*sort=
Disallow: /*?*filter=
Disallow: /*?*session=

# Sitemap bekannt geben
Sitemap: https://seo-eisleben.com/sitemap-index.xml

Die wichtigsten Direktiven:

Direktive	Bedeutung
User-agent: *	Gilt für alle Crawler
User-agent: Googlebot	Gilt nur für Google
Disallow: /pfad/	Dieser Bereich soll nicht gecrawlt werden
Allow: /pfad/file.html	Ausnahme innerhalb eines Disallow-Bereichs
Sitemap: URL	Zeigt auf die Sitemap-Datei

---

Häufige robots.txt Fehler

Fehler 1: Versehentliches Disallow der gesamten Website

# GEFAEHRLICH — Blokkiert alles!
User-agent: *
Disallow: /

Passiert schnell bei Copy-Paste oder falsch konfiguriertem CMS. Folge: Ihre gesamte Website verschwindet aus Google. In der Google Search Console sofort sichtbar.

Fehler 2: CSS und JavaScript blockieren

# FALSCH — Google kann Ihre Seite nicht rendern
Disallow: /assets/
Disallow: /static/
Disallow: /css/
Disallow: /js/

Google muss CSS und JavaScript laden können, um Ihre Seite korrekt zu rendern. Wenn Google nicht rendern kann, werden Inhalte falsch indexiert oder gar nicht gefunden.

Fehler 3: robots.txt als Noindex verwenden

# Falsche Annahme!
User-agent: *
Disallow: /datenschutz/  # Das verhindert NICHT die Indexierung!

Disallow in robots.txt verhindert das Crawlen, aber NICHT die Indexierung. Wenn andere Seiten auf /datenschutz/ verlinken, kann Google diese URL trotzdem indexieren — nur ohne Inhalt. Für echten Ausschluss aus dem Index: <meta name="robots" content="noindex"> auf der Seite selbst.

Fehler 4: Vergessene Sitemap-Referenz

Ohne Sitemap-Eintrag in der robots.txt muss Google die Sitemap durch andere Wege finden. Immer angeben:

Sitemap: https://ihre-domain.de/sitemap.xml

---

robots.txt prüfen

Google Search Console: Einstellungen → robots.txt unter “Crawling” aufrufen und testen.

Manuell: https://ihre-domain.de/robots.txt im Browser aufrufen.

Google robots.txt Tester: In der alten Search Console verfügbar, zeigt ob bestimmte URLs blockiert werden.

---

Sitemap und robots.txt zusammen einsetzen

Das Zusammenspiel korrekt konfigurieren:

robots.txt:
  Disallow: /admin/
  Sitemap: https://ihre-domain.de/sitemap.xml

sitemap.xml:
  Nur öffentliche, indexierbare Seiten
  Keine URLs die in robots.txt disallowed sind

Widersprueche vermeiden:

• URLs in der Sitemap sollten NICHT in robots.txt blockiert sein
• Seiten mit noindex gehören NICHT in die Sitemap
• Canonical-URLs in der Sitemap, nicht die Weiterleitung

---

Sitemap-Stolperfallen in Eisleber Mittelstandsseiten

Aus Audits bei Betrieben in Eisleben und im Mansfelder Land kommen drei Muster immer wieder vor.

Erstens — Stadtteil-Seiten doppelt in der Sitemap. Wer Pages für die Innenstadt von Eisleben, Helfta, Wolferode, Wimmelburg und Hedersleben anbietet, hat oft sowohl /seo-helfta/ als auch /seo-helfta (ohne Trailing-Slash) in der Sitemap — Google indexiert beide und wertet einen davon als Duplicate ab. Eine kanonische Variante festlegen, die andere per 301-Redirect umleiten und nur eine in der Sitemap halten.

Zweitens — alte Disallow-Regeln aus der Bauphase. Viele Eisleber Bestandswebsites hatten während Relaunches ein Disallow: / in der robots.txt. Beim Live-Schalten wird das oft vergessen — und die Site fliegt komplett aus dem Index. Eine fünfminütige Prüfung mit https://ihre-domain.de/robots.txt und der Search Console hätte das verhindert.

Dritter Punkt — fehlende Sitemap-Referenz. robots.txt ohne Sitemap:-Zeile bedeutet zwar nicht, dass Google die Sitemap nicht findet (sie kann manuell in der Search Console eingereicht werden), aber sie macht die Konfiguration für Bing, Seznam und andere Crawler unauffindbar. Eine Zeile ergänzen, fertig.

Branchen-Hubs wie Handwerk und Mittelstand, Strukturwandel und Bergbau-Erbe sollten in der Sitemap als kanonische URLs gelistet sein und über interne Links die Stadtteilseiten erreichen.

---

Häufige Fragen zu Sitemap und robots.txt

Muss ich die Sitemap manuell aktualisieren?

Bei CMS-Systemen (WordPress, Shopify) und modernen Frameworks (Astro, Next.js) wird die Sitemap automatisch generiert und aktualisiert. Manuelle Pflege ist nur bei statischen HTML-Sites nötig.

Wie oft crawlt Google meine Sitemap?

Google crawlt Sitemaps unterschiedlich häufig — von täglich (bei aktiven, autoritaetsreichen Websites) bis woechentlich (bei kleinen, selten aktualisierten Seiten). Nach dem Einreichen in der GSC: schneller erster Crawl.

Kann eine falsche robots.txt meine Rankings zerstören?

Ja. Ein versehentliches Disallow: / blockiert alles. Änderungen an der robots.txt immer vor dem Upload im Google robots.txt Tester prüfen.

---

Fazit

Sitemap und robots.txt sind einfache Dateien mit großer Wirkung. Die Sitemap sagt Google: “Hier ist, was ich indexiert haben möchte.” Die robots.txt sagt: “Hier bitte nicht hinschauen.” Beide korrekt konfiguriert, gibt Ihrer Website eine klar lesbare Anweisung für Crawler — und vermeidet stille Fehler die Rankings kosten.

Möchten Sie Ihre Sitemap und robots.txt für Eisleben professionell prüfen lassen? Kostenlose SEO-Analyse anfragen — wir crawlen Ihre Domain, gleichen Sitemap und Indexstand ab und finden versteckte Disallow-Regeln.