Website Crawler
Crawlen Sie eine ganze Website ab der Startseite oder prüfen Sie eine URL-Liste – eingefügt oder aus TXT, CSV oder TSV importiert.
100 % kostenlos und Open Source
OctopusOn SEO Crawler
Ein kostenloser SEO Spider für Website-Audits, der wie eine Suchmaschine crawlt: JavaScript-Rendering, defekte Links, Weiterleitungsketten, Duplicate Content, hreflang und ein erklärbarer SEO-Score – ohne URL-Limit.
Windows, macOS & Linux · SEO und GEO · Laufend aktualisiert · Kein Konto, keine Limits
Alles, was ein Website Crawler braucht – kostenlos
Ein SEO Spider für Website-Audits, JavaScript-SEO, Migrationen und Monitoring: 100+ Prüfungen in 21 Kategorien, jede mit Erklärung und Lösung.
JavaScript-SEO
Rendern Sie Seiten mit Ihrem installierten Chrome oder Edge und vergleichen Sie rohe und gerenderte Titel, Canonicals, Direktiven, Wörter und Links.
Broken Link Checker
Finden Sie 404-Fehler, Serverfehler und defekte interne Links – mit den Seiten und Ankertexten, die darauf verweisen.
Weiterleitungsketten prüfen
Verfolgen Sie jeden Weiterleitungsschritt, erkennen Sie Ketten und Schleifen und sehen Sie, welche Links noch auf weitergeleitete URLs zeigen.
Duplicate Content Checker
Exakte Duplikate bei Titeln, Beschreibungen, H1 und Seitentext sowie nahezu identische Seiten, gefunden per SimHash.
Hreflang Checker
Prüfen Sie Rückverweise, Selbstreferenzen, x-default und Sprachcodes in HTML, HTTP-Headern und PDFs.
Schema-Validator
Testen Sie strukturierte Daten in JSON-LD für Rich Results vom Typ Article, Product, FAQ, Breadcrumb, Organization und LocalBusiness.
XML-Sitemap-Generator
Erstellen Sie aus einem Crawl eine XML-Sitemap, ab 50.000 URLs oder 50 MB aufgeteilt in ein ZIP.
Ein kostenloser SEO Spider, der wie Googlebot crawlt
Crawlen Sie als Googlebot Smartphone, Googlebot Desktop, Bingbot, Chrome oder mit eigenem User-Agent – in höflichem Tempo und mit einer robots.txt-Auswertung wie bei Google.
- Spider- oder Listenmodus mit URL-, Tiefen- und Zeitlimits sowie Ein- und Ausschlussmustern
- 1–64 parallele Anfragen, Geschwindigkeitsprofile und ein Limit für Anfragen pro Sekunde
- robots.txt: beachten, ignorieren mit Bericht oder ignorieren; X-Robots-Tag pro Crawler
- XML-Sitemaps, Sitemap-Indizes und gzip-Dateien samt ihren Weiterleitungsketten
- Live-Fortschritt, Pause und Fortsetzen, mehrere Crawls gleichzeitig und gespeicherte Crawls zum erneuten Öffnen
JavaScript-Rendering für JavaScript-SEO
Single-Page-Apps und clientseitige Frameworks werden so gecrawlt, wie Suchmaschinen sie rendern – in einem frischen, isolierten Browserkontext für jede URL.
- Nutzt Ihren bereits installierten Chrome, Chromium oder Edge
- Desktop-, Mobil- oder eigener Viewport
- Roh vs. gerendert: Titel, Beschreibung, Canonical, Robots-Direktiven, Wortzahl und Links
- Markiert ein per JavaScript entferntes noindex und crawlt fehlgeschlagene Renderings erneut
Website-Audit mit erklärbarem SEO-Score
Ein SEO-Score von 0–100 aus 100+ Prüfungen. Jeder Abzug führt zu den URLs dahinter, mit Erklärung und Lösung.
- Statuscodes, Weiterleitungen und Sicherheit: HTTPS, HSTS und Mixed Content
- Titel, Meta-Descriptions, Überschriften, Canonicals, Direktiven und Paginierung
- Bilder, strukturierte Daten, Open Graph und Twitter Cards, mobiler Viewport
- Priorisierte Korrekturen, in neun Systeme gegliedert
Bereit für KI-Suche und GEO
Prüfen Sie neben den klassischen SEO-Checks, ob KI-Crawler Ihre Inhalte erreichen.
- KI-Bereitschaft: Zugriff von KI-Bots in robots.txt und llms.txt
- Strukturierte Daten, auf die Rich Results und KI-Antworten angewiesen sind
- Mit dem Log Analyser kombinieren, um zu sehen, welche KI-Bots wirklich vorbeikommen
Crawl-Vergleich, Exporte und Search-Console-Daten
Verfolgen Sie eine Website von Crawl zu Crawl, geben Sie Ergebnisse an Kunden weiter und finden Sie Quick Wins in Google-Daten.
- Zwei Crawls anhand von 30 SEO-Feldern vergleichen und neue, behobene und verbleibende Befunde sehen
- Gefilterte Exporte nach Excel, CSV und JSON aus jedem Tab
- Die Spalten jedes Tabs frei wählen
- SEO Opportunities: Seiten mit niedriger CTR, Keywords knapp vor Seite 1 und Traffic-Verluste aus Search-Console- und GA4-Daten
OctopusOn SEO Crawler vs Screaming Frog SEO Spider
Die wichtigsten Unterschiede auf einen Blick.
| Funktion | OctopusOn SEO Crawler | Screaming Frog SEO Spider |
|---|---|---|
| Preis | Kostenlos, $0 | Kostenlos bis 500 URLs; £199 / $279 pro Nutzer und Jahr |
| URLs pro Crawl | Kein Limit | 500 kostenlos; unbegrenzt mit Lizenz |
| Quellcode | Open Source | Proprietär |
| JavaScript-Rendering | Inklusive | Bezahlversion |
| Crawls speichern und wieder öffnen | Inklusive | Bezahlversion |
| Windows, macOS und Linux | Ja | Ja |
Angaben zu Screaming Frog von screamingfrog.co.uk, geprüft im Oktober 2026.
Fragen zum SEO Crawler
Ist OctopusOn SEO Crawler wirklich kostenlos?
Ja, zu 100 % kostenlos und Open Source (MIT oder Apache-2.0). Es gibt keine Bezahlversion, keinen Lizenzschlüssel und kein URL-Limit; die einzigen Grenzen sind Arbeitsspeicher und Festplatte Ihres Computers.
Ist das eine Screaming Frog SEO Spider Alternative?
Ja. Er deckt den Kern eines technischen SEO-Crawls kostenlos ab: Spider- und Listenmodus, JavaScript-Rendering, Statuscodes, Weiterleitungen, Canonicals, hreflang, Duplikate, strukturierte Daten, XML-Sitemaps und Exporte. Einige Screaming-Frog-Funktionen wie benutzerdefinierte Extraktion und PageSpeed Insights gibt es noch nicht; der ausführliche Vergleich listet sie auf.
Kann er JavaScript rendern?
Ja. Er nutzt den auf Ihrem Computer installierten Chrome, Chromium oder Edge und vergleicht das rohe HTML mit der gerenderten Seite.
Wie viele URLs kann er crawlen?
Es gibt kein eingebautes Limit: Ein URL-Limit von 0 bedeutet unbegrenzt. Sehr große Websites sind nur durch Arbeitsspeicher und Festplatte Ihres Computers begrenzt.
Verlassen meine Crawl-Daten meinen Computer?
Nein. Crawls laufen auf Ihrem Computer und werden dort gespeichert. Nichts wird hochgeladen, und Sie brauchen kein Konto.
Auf welchen Systemen läuft er?
Windows, macOS (Apple Silicon und Intel) und Linux (AppImage, deb und rpm). Für Skripte und Server gibt es das Kommandozeilen-Tool octopuson-crawler.
Kommandozeile
Jede Funktion arbeitet auch im Terminal, für Skripte und geplante Aufgaben.
octopuson-crawler crawl https://example.com --render javascript
octopuson-crawler export latest --tab internal --out internal.xlsxDesktop-App
Windows
- Installationsprogramm · x64OctopusOn.SEO.Crawler_0.1.0_x64-setup.exe · 12 MB
62a4c7e708b02d50… - MSI-Paket · x64OctopusOn.SEO.Crawler_0.1.0_x64_en-US.msi · 17,1 MB
73233a3752dddea5…
Warnt SmartScreen vor einem unbekannten Herausgeber, klicken Sie auf „Weitere Informationen“ → „Trotzdem ausführen“.
macOS
Linux
- AppImage · x64OctopusOn.SEO.Crawler_0.1.0_amd64.AppImage · 94 MB
487bde2555f38331… - Debian-/Ubuntu-Paket · x64OctopusOn.SEO.Crawler_0.1.0_amd64.deb · 21,4 MB
92f1e6dbe3fe4b8b… - Fedora-/RHEL-Paket · x64OctopusOn.SEO.Crawler-0.1.0-1.x86_64.rpm · 21,4 MB
51b108736bae23a2…
AppImage: ausführbar machen (chmod +x) und starten – oder das .deb- bzw. .rpm-Paket installieren.
Kommandozeile
| Datei | Größe | SHA-256 |
|---|---|---|
| octopuson-crawler-crawler-v0.1.0-aarch64-apple-darwin.tar.gz | 14,7 MB | 26ad53920be4b297afb9… |
| octopuson-crawler-crawler-v0.1.0-x86_64-apple-darwin.tar.gz | 15,9 MB | 473dd14900a48f9b3a69… |
| octopuson-crawler-crawler-v0.1.0-x86_64-pc-windows-msvc.zip | 12,8 MB | 82b577000c44159de1b4… |
| octopuson-crawler-crawler-v0.1.0-x86_64-unknown-linux-gnu.tar.gz | 17,4 MB | 690e1c55f8eb5364ab32… |
Starten Sie Ihr erstes kostenloses Website-Audit
Laden Sie OctopusOn SEO Crawler herunter, geben Sie eine URL ein und erhalten Sie in wenigen Minuten einen erklärbaren SEO-Score.
Kostenlos herunterladen