Website-URLs extrahieren
Entdecke verlinkte Seiten mit einem begrenzten Crawl, Pfadfiltern und einer herunterladbaren URL-Liste.
Dein Ergebnis
Hier erscheint dein Ergebnis.
Quelle hinzufügen, Tool starten und das Ergebnis kopieren oder herunterladen.
So nutzt du das Ergebnis
Nutze das Tool, wenn keine Sitemap auffindbar ist oder du einen kleinen Website-Bereich prüfen möchtest. Der Crawler bleibt auf der Start-Origin, folgt HTML-Links und beachtet die robots.txt. Seitenanzahl und Tiefe sind einstellbar.
Der Crawl besucht höchstens 25 Seiten und überspringt Query-Links sowie reine JavaScript-Navigation. Das Ergebnis ist eine Stichprobe, kein vollständiger Index.
Häufige Fragen
Was unterscheidet einen Website-Crawl vom Auslesen einer Sitemap?
Ein Crawl entdeckt Links ab einer Startseite. Ein Sitemap-Extractor liest das von der Website angegebene URL-Verzeichnis. Dieser Crawler beachtet robots.txt sowie Seiten- und Tiefenlimits. Vergleiche beide Quellen, wenn du die Abdeckung untersuchst.
Warum fehlen manche Seiten im Crawl-Ergebnis?
Eine Seite kann unverlinkt sein, hinter dem Crawl-Limit liegen, durch robots.txt gesperrt sein oder nur über JavaScript erreichbar werden. Das Ergebnis ist ein begrenzter Crawl und kein Nachweis für die vollständige Erfassung aller öffentlichen Seiten.
Brauche ich ein Chatbyte-Konto?
Nein. Die Tools sind ohne Anmeldung kostenlos nutzbar. Gemeinsame Nutzungslimits schützen die Verfügbarkeit. Das Erstellen und Betreiben eines Chatbyte-Chatbots ist ein separates Produkt.
Wie werden meine Inhalte verarbeitet?
Die Tools verarbeiten übermittelte Inhalte für die Anfrage auf dem Server. KI-Tools senden extrahierten Text über Vercel AI Gateway an den ausgewählten KI-Modellanbieter. Diese App speichert Tool-Eingaben nicht in einer Datenbank. Der Chatverlauf bleibt bis zum Zurücksetzen im aktuellen Tab. Vermeide vertrauliche und personenbezogene Daten.