robots.txt Generator kostenlos

Template wählen oder selbst konfigurieren – der robots.txt Generator baut dir die Datei in Sekunden: Sitemap eintragen, Crawler steuern, gesperrte Verzeichnisse festlegen, fertig. Keine Registrierung, keine Kreditkarte, kein Tageslimit. Das Ergebnis kannst du direkt kopieren und auf deinem Server ablegen.

Egal ob du eine .de-, .at- oder .ch-Domain betreibst, einen WordPress-Blog, einen Shopify-Shop oder eine individuell entwickelte Seite: die robots.txt Datei erstellen geht hier schneller als über jedes CMS-Plugin. Im Folgenden erfährst du, wie das Tool funktioniert, was die einzelnen Einstellungen bewirken und wie du KI-Crawler wie GPTBot oder ClaudeBot gezielt blockierst – ein 2026 zunehmend relevantes Thema.

robots.txt Datei erstellen in 3 Schritten

Der Generator ist bewusst schlank gehalten. Du brauchst kein SEO-Vorwissen und kein Konto.

1. Template wählen (optional). Wähle ein Schnellstart-Template: „Alle erlauben" (Standard für neue Sites), WordPress, Shopify, Blogger, Wix oder „KI-Crawler blockieren". Das Template füllt die Felder automatisch vor – du kannst danach alles anpassen.
2. Einstellungen konfigurieren. Trag deine Sitemap-URL ein, entscheide, ob alle Robots standardmäßig erlaubt oder gesperrt sind, und füge optional gesperrte Verzeichnisse hinzu (z. B. /wp-admin, /checkout, /api/internal). Im erweiterten Bereich kannst du einzelne Crawler gezielt steuern: Suchmaschinen, KI-Bots, Regionale Engines.
3. Generieren und kopieren. Klick auf „robots.txt generieren" – die fertige Datei erscheint direkt im Ausgabefeld. Kopieren oder herunterladen, dann als robots.txt in das Stammverzeichnis deiner Domain (example.de/robots.txt) hochladen.

Crawl-Delay kannst du ebenfalls setzen – nützlich für Seiten mit begrenzter Serverkapazität, die von aggressiven Crawlern überlastet werden.

Tipp für WordPress-Nutzer: Das WordPress-Template sperrt automatisch /wp-admin, /wp-includes, Plugin-Verzeichnisse und Cache-Ordner. Diese Verzeichnisse enthalten keine indexierbaren Inhalte, sollen aber von Crawlern nicht besucht werden. Wende das Template an, passe die Sitemap-URL auf https://deine-domain.de/sitemap_index.xml an und du bist fertig.

Was die einzelnen Einstellungen bewirken

Der Generator gibt dir mehrere Konfigurationsebenen. Die Einstellungen im Detail:

• Sitemap-URL – Trägt eine Sitemap:-Zeile in die robots.txt ein. Suchmaschinen wie Googlebot und Bingbot lesen diese Zeile, um deine XML-Sitemap zu finden und effizienter zu crawlen. Pflicht für jede produktive Site. Format: https://example.de/sitemap.xml oder sitemap_index.xml bei WordPress.
• Alle Robots (Standard) – Legt die globale Regel für alle Bots fest (User-agent: *). „Erlaubt" lässt alle rein (Default für neue Sites), „Gesperrt" sperrt alle aus (nur sinnvoll für Sites im Aufbau oder reine Intranet-Seiten). Im Normalfall bleibt das auf „Erlaubt" – du sperrst dann gezielt einzelne Verzeichnisse oder Bots.
• Gesperrte Verzeichnisse – Listet Pfade auf, die kein Crawler besuchen soll. Typische Kandidaten: /wp-admin, /cart, /checkout, /account, /api/internal, /search. Diese Seiten bieten Suchmaschinen keinen inhaltlichen Mehrwert und würden ohne Sperre unnötiges Crawl-Budget verbrauchen.
• Crawl-Delay – Gibt Crawlern eine Pause zwischen zwei Anfragen in Sekunden vor. Hilft bei Servern mit begrenzten Ressourcen, kann aber das Indexierungstempo verlangsamen. Googlebot ignoriert Crawl-Delay in robots.txt seit 2019 offiziell – für andere Bots hat es aber noch Wirkung.
• Einzelne Crawler (Erweitert) – Hier steuerst du gezielt jeden der 23 unterstützten Bots: Suchmaschinen (Googlebot, Bingbot, Yandex), KI-Bots (GPTBot, ClaudeBot, Gemini, Diffbot und mehr) und regionale Engines (Baidu, Naver). Pro Bot: Standard (erbt die globale Regel), explizit erlaubt oder explizit gesperrt.

Wie funktionieren Prioritäten? Wenn du User-agent: * auf „Erlaubt" setzt, aber Disallow: /admin setzt und GPTBot explizit sperrst, gilt: GPTBot ist komplett gesperrt, alle anderen Bots dürfen alles außer /admin. Die Reihenfolge in der Datei zählt; der Generator setzt sie korrekt.

KI-Crawler blockieren: Warum 2026 wichtig

Das „KI-Crawler blockieren"-Template ist 2026 eines der meistgenutzten Features in diesem Tool – und das hat Gründe.

Was KI-Bots tun. Bots wie GPTBot (OpenAI), ClaudeBot (Anthropic), Gemini-Google-Extended (Google DeepMind) und Diffbot crawlen deine Seite, um Inhalte für KI-Training, Large Language Models (LLMs) oder KI-Antwortmaschinen zu sammeln. Anders als Suchmaschinen-Bots, die deinen Traffic steigern, bringen dir KI-Scraper keinen direkten Mehrwert – aber sie verbrauchen Crawl-Budget und verwenden deine Inhalte ohne Lizenzgebühren.

Wer blockieren sollte. Verlage, Agenturen und Inhaltsersteller, die ihre redaktionellen Inhalte schützen wollen, nutzen robots.txt-Sperrung als erste Maßnahme. Auch für DACH-Sites mit hochwertigen, proprietären Texten (Fachredaktionen, Rechtsportale, Medizinportale) ist das Blockieren der KI-Trainer sinnvoll. Hinweis: Das Blockieren von KI-Crawlern hat keinen negativen Einfluss auf Google-SEO-Rankings, weil Googlebot und Google-AIO-Crawler separate Bots sind.

Welche Bots blockiert das Template? Das „Block AI Scrapers"-Template sperrt GPTBot, ClaudeBot, Google-Extended (Gemini Training), ChatGPT-User, Diffbot, CCBot und OAI-SearchBot. Suchmaschinen-Crawler (Googlebot, Bingbot) bleiben erlaubt.

Grenzen der robots.txt-Methode. robots.txt ist ein Protokoll, kein technischer Schutz. Seriöse Bots (OpenAI, Anthropic, Google) halten sich daran. Unbekannte Scraper ignorieren sie. Für maximalen Schutz kombiniere robots.txt-Sperrung mit HTTP-Header X-Robots-Tag und, falls nötig, Rate-Limiting auf Serverebene. Für .de-Domains im presserechtlichen Kontext: robots.txt ist kein rechtlicher Schutz im Sinne des Urheberrechts, aber der klare Ausdruck des Widerspruchs.

CMS-Templates im Vergleich: WordPress, Shopify, Wix

Jedes CMS hat seine eigenen Standardverzeichnisse und typischen Crawler-Probleme. Hier ist, was die Templates im Einzelnen abdecken.

WordPress-Template: Sperrt /wp-admin/, /wp-includes/, /wp-content/plugins/, /wp-content/cache/ und Suchergebnis-URLs (/?s=). Letztere sind ein häufiger Fehler: WordPress-Suchseiten erzeugen Tausende dünner Seiten, die das Crawl-Budget verbrauchen und als Duplicate Content gelten. Das Template erlaubt weiterhin /wp-content/uploads/ für Bilder. Sitemap: https://deine-domain.de/sitemap_index.xml (Yoast) oder /wp-sitemap.xml (Core).

Shopify-Template: Sperrt /admin, /cart, /checkout, /account und /orders. Diese Seiten enthalten keine SEO-relevanten Inhalte, sind aber technisch erreichbar. Shopify fügt automatisch eine Kanonisierung hinzu, aber eine explizite robots.txt-Sperre gibt zusätzliche Sicherheit. Sitemap: Shopify generiert sie automatisch unter https://deine-domain.de/sitemap.xml.

Wix-Template: Sperrt Wix-interne APIs und Partial-Pfade, die Wix für Live-Site-Rendering nutzt und die für Suchmaschinen wertlos sind. Wix hat seit 2020 eine eigene robots.txt-Verwaltung, aber für Nutzer mit benutzerdefiniertem Code ist das manuelle Template nützlicher.

Was TYPO3- und Shopware-Nutzer in Deutschland, Österreich und der Schweiz wissen sollten: Das Tool bietet noch kein dediziertes TYPO3- oder Shopware-Template, aber über die freie Verzeichnis-Konfiguration deckst du die typischen Sperrbereiche ab: Bei TYPO3 /typo3/, /typo3conf/, bei Shopware /admin/, /store-api/, /checkout/. Beide CMS sind im DACH-Raum (Deutschland, Österreich, Schweiz) weit verbreitet – TYPO3 besonders bei Behörden und Bildungseinrichtungen, Shopware bei mittelgroßen E-Commerce-Anbietern.

Typische Fehler in der robots.txt

Die robots.txt ist eine einfache Textdatei, aber kleine Fehler haben große Auswirkungen.

• Alle Bots gesperrt (Disallow: /) – Der häufigste und folgenschwerste Fehler. Wenn du nach einem Relaunch vergisst, die robots.txt vom Staging-Stand zu bereinigen, ist deine Produktivsite komplett gesperrt. Google meldet das in der Search Console; der Schaden kann Wochen dauern, bis er sich erholt.
• Falsche Pfadangaben – Disallow: wp-admin (ohne führenden Slash) sperrt nichts. Pfade müssen immer mit / beginnen: Disallow: /wp-admin/.
• Sitemap-URL fehlt oder ist falsch – Viele robots.txt-Dateien haben keine Sitemap-Zeile oder eine veraltete URL. Prüfe die Sitemap-URL nach jedem Domain-Umzug und nach jeder Sitemap-Plugin-Änderung.
• Crawl-Delay zu hoch gesetzt – Werte über 10 Sekunden können das Indexierungstempo erheblich verlangsamen. Wenn du Crawl-Delay setzt, nutze Werte zwischen 1 und 5 für normale Sites.
• Widersprüchliche Regeln – Wenn User-agent: * auf Disallow: / gesetzt ist und darunter User-agent: Googlebot auf Allow: / steht, gewinnt die spezifischere Regel für Googlebot. Das ist korrekt – aber unbeabsichtigte Kombinationen erzeugen häufig unerwartetes Verhalten.
• robots.txt ist nicht unter der Stammdomain erreichbar – Die Datei muss unter https://deine-domain.de/robots.txt erreichbar sein, nicht unter einer Subdomain oder einem Unterordner. Prüfe nach dem Upload.

Prüfung mit Google Search Console: Nach dem Upload der neuen robots.txt kannst du im GSC-Tool unter „URL-Prüfung" oder dem robots.txt-Tester prüfen, ob Googlebot die Datei korrekt liest. Bei neuen Domains dauert es 24–72 Stunden, bis Google die Änderung aufnimmt.

Für eine vollständige technische Prüfung deiner Seite – inklusive Crawlability, kanonische URLs und strukturierte Daten – ist der Page SEO Checker der nächste sinnvolle Schritt.

Häufige Fragen

Was ist eine robots.txt und wofür brauche ich sie?

Die robots.txt ist eine einfache Textdatei im Stammverzeichnis deiner Website (deine-domain.de/robots.txt), die Suchmaschinen und anderen Crawlern mitteilt, welche Bereiche deiner Seite sie besuchen dürfen und welche nicht. Sie ist kein technischer Schutz, sondern ein Protokoll – seriöse Bots halten sich daran, unseriöse nicht. Für SEO ist sie wichtig, weil du damit Crawl-Budget steuerst: Seiten ohne SEO-Wert (Admin, Checkout, Cache) sperrst du, damit Google das Budget für deine wichtigen Inhaltsseiten nutzt.

Ist der robots.txt Generator kostenlos – auch ohne Anmeldung?

Ja. Kein Konto, keine E-Mail-Adresse, keine Kreditkarte, kein Tageslimit. Du konfigurierst die Datei, klickst auf Generieren, kopierst das Ergebnis. Andere Tools verlangen oft eine Registrierung oder limitieren die Crawler-Auswahl in der kostenlosen Version – bei QuickCreator gibt es diese Einschränkungen nicht.

Wie lade ich die robots.txt auf meine Website hoch?

Bei WordPress mit Yoast SEO: Yoast verwaltet die robots.txt automatisch über „SEO → Tools → Datei-Editor". Bei manuellem Hosting: Lade die Datei per FTP oder SFTP in das Stammverzeichnis (/public_html/ oder /var/www/html/), Dateiname exakt robots.txt. Bei Shopify: Shopify ermöglicht seit 2021 benutzerdefinierte robots.txt über den Theme-Editor (Datei robots.txt.liquid). Bei TYPO3: in der Site-Konfiguration oder direkt über den Dateimanager im Backend.

Blockiert robots.txt KI-Crawler wie GPTBot wirklich?

GPTBot (OpenAI), ClaudeBot (Anthropic) und Google-Extended (Gemini Training) halten sich offiziell an robots.txt. OpenAI und Anthropic haben das öffentlich dokumentiert. Das bedeutet: blockieren funktioniert für diese Bots. Unbekannte oder unlizenzierte Scraper ignorieren robots.txt grundsätzlich. Als ergänzende Maßnahme nutzt du den HTTP-Header X-Robots-Tag: noindex oder Rate-Limiting auf Serverebene.

Schadet das Blockieren von KI-Crawlern meinen Google-Rankings?

Nein, wenn du es richtig machst. Googlebot (für organische Suche), GoogleAdsBot und der AI-Overview-Crawler sind separate Bots. Das „KI-Crawler blockieren"-Template von QuickCreator sperrt nur die KI-Training-Bots, nicht Googlebot. Prüfe nach dem Template-Import im erweiterten Bereich, dass Googlebot auf „Erlaubt" oder „Standard" steht.

Was ist der Unterschied zwischen robots.txt und meta robots?

robots.txt steuert, ob ein Crawler eine Seite überhaupt besuchen darf. Der meta robots-Tag (<meta name="robots" content="noindex">) im HTML-Head steuert, ob eine besuchte Seite indexiert werden soll. Wichtiger Unterschied: Wenn du eine Seite in robots.txt sperrst, kann Google sie nicht indexieren – aber Google kann sie auch nicht als noindex lesen, weil es die Seite ja nicht besucht. Für Seiten, die du nicht indexieren, aber trotzdem crawlen lassen willst (z. B. für interne Links), nutze meta noindex statt robots.txt-Sperre.

Wie teste ich eine bestehende robots.txt auf Fehler?

Vier Methoden: (1) Direkt im Browser: https://deine-domain.de/robots.txt aufrufen und prüfen, ob die Datei korrekt angezeigt wird. (2) Google Search Console: Unter „Einstellungen → robots.txt" siehst du die von Google zuletzt gecrawlte Version und wann sie aktualisiert wurde – inklusive eines integrierten robots.txt-Testers, mit dem du für beliebige URLs prüfen kannst, ob Googlebot Zugriff hätte. (3) Externer Validator: Tools wie der robots.txt-Tester auf technicalseo.com lesen deine live robots.txt und zeigen dir für jede Pfad-Kombination an, welche Bots geblockt oder erlaubt sind – nützlich, wenn du Regeln für mehrere User-Agents überprüfen willst. (4) Fetch-Test: Im GSC-URL-Prüfwerkzeug kannst du prüfen, ob Googlebot eine bestimmte URL abrufen kann.

Kann ich dieselbe robots.txt für Haupt- und Subdomain nutzen?

Nein. Jede (Sub-)Domain braucht eine eigene robots.txt. blog.example.de/robots.txt ist eine andere Datei als example.de/robots.txt. Der Generator erstellt jeweils eine Datei – wenn du mehrere Subdomains hast, konfiguriere und generiere für jede separat.

Funktioniert der Generator auch für Shopware und TYPO3?

Ja, auch wenn es noch keine eigenen Preset-Templates gibt. Du nutzt die freie Konfiguration: Gesperrte Verzeichnisse manuell eingeben (/admin/, /store-api/ für Shopware; /typo3/, /typo3conf/ für TYPO3), Sitemap-URL eintragen und generieren. Shopware und TYPO3 sind im DACH-Markt (Deutschland, Österreich, Schweiz) verbreitete CMS-Plattformen – spezifische Templates sind in Planung.

Nächster Schritt

Du hast die robots.txt konfiguriert und hochgeladen. Der sinnvolle nächste Schritt: prüfen, ob Google deine wichtigsten Seiten tatsächlich crawlen und indexieren kann. Der Page SEO Checker analysiert eine URL auf Crawlability, Meta-Tags, kanonische Adressen und technische Fehler – alles, was du brauchst, um sicherzustellen, dass deine robots.txt-Konfiguration das Richtige erlaubt und sperrt.