Der Begriff Disallow wird in der Suchmaschinenoptimierung (SEO) verwendet. In unserem Online Marketing Lexikon erklären wir Dir, was der Befehl bewirkt, was der Unterschied zum noindex Tag ist und welche Vor- und Nachteile die Verwendung von Disallow haben kann.
Was ist Disallow in der SEO?
Disallow ist ein Befehl, der in der robots.txt-Datei einer Website verwendet wird, um den Crawlern von Suchmaschinen den Zugriff auf bestimmte Teile der Website oder auch auf die gesamte Website zu verweigern.
Was ist die robots.txt-Datei?
Die robots.txt-Datei kannst Du Dir wie eine Anleitung für Webcrawler vorstellen. In ihr wird festgelegt, welche Teile einer Webseite von ihnen besucht werden dürfen und welche nicht. Welche URLs oder URL-Pfade vom Crawling ausgeschlossen werden sollen, wird dabei in der Disallow-Anweisung angegeben. Ein einfacher Eintrag könnte zum Beispiel so aussehen:
User-agent: *Disallow: /verbotener-pfad/
In diesem Beispiel wird jedem Crawler (dargestellt durch User-agent: *) der Zugriff auf den angegebenen Pfad „verbotener-pfad“ verwehrt.
Welche Crawler können in der robots.txt genannt werden?
In der robots.txt-Datei kannst Du die User-agent-Anweisung verwenden, um Suchmaschinen-Crawler gezielt anzusprechen. Jeder Suchmaschinen-Crawler hat in der Regel einen eigenen, eindeutigen User-Agent-Namen. Hier sind einige der bekanntesten User-Agents, die in einer robots.txt-Datei genannt werden können.
- All Crawler: *: Dieser User-Agent steht für alle Bots. Mit * kannst Du allgemeine Anweisungen für alle Crawler bereitstellen.
Beispiele für Google User-agents
- Googlebot-Image
- Googlebot-News
- Adsbot-Google
Bingbot: der Hauptcrawler von Bing
