SEO Dealing with crawlers

Macht euch mit rel=“nofollow” für Links vertraut

Bekämpft Spam mit “nofollow”

Wenn ihr den Wert des Attributs “rel” eines Links auf “nofollow” setzt, so teilt ihr Google mit, dass bestimmten Links auf eurer Website nicht gefolgt werden soll und die Reputation eurer Seite nicht an die verlinkten Seiten weitergegeben werden soll. “Nofollow” für einen Link erzielt ihr durch das Hinzufügen von rel=“nofollow” innerhalb des Anchor-Tags des Links [a].

Wann wäre das sinnvoll? Falls eure Website einen Blog mit öffentlicher Kommentarfunktion hat, könnten Links in den Kommentaren eure Reputation an Seiten vererben, bei denen es euch Kopfzerbrechen bereitet, s i e zu unterstützen. Blogkommentare sind ein Seitenbereich, der sehr empfänglich für Kommentar-Spam ist [b]. Indem ihr diese von Nutzern hinzugefügten Links auf “nofollow” setzt, stellt ihr sicher, dass ihr eure verdiente Reputation nicht an Spamsites weitergebt.

Verwendet “nofollow” automatisch für Kommentare und Foren

Viele Blogging- Software-Lösungen stellen Benutzerkommentare automatisch auf “nofollow”. Solche, die das nicht tun, können höchstwahrscheinlich per Hand darauf umgestellt werden. Dieser Tipp gilt auch für andere Bereiche eurer Site, auf denen benutzergenerierter Content vorkommt, etwa Gästebücher, Foren, Shout-Boxen, Referrer-Listen etc. Falls ihr dazu bereit seid, Links zu vertrauen, die von Dritten hinzugefügt wurden (z. B. wenn ihr einem bestimmten Verfasser von Kommentaren Vertrauen entgegenbringt), dann gibt es keinen Grund, “nofollow” zu verwenden; allerdings kann das Linken zu Websites, die Google als Spam ansieht, sich auf die Reputation eurer eigenen Website auswirken. Die Hilfe für Webmaster enthält weitere Tipps, wie man Kommentar-Spam vermeidet, etwa durch die Verwendungvon CAPTCHAs oder das Aktivieren einer Moderation für Kommentare [c].

Zur Verwendung von “nofollow” für bestimmten Content, ganze Seiten, etc.

Ein anderer Verwendungszweck für “nofollow” eröffnet sich, wenn ihr Content erstellt und auf eine Website verweisen wollt, aber gleichzeitig keine Reputation an sie zu vererben gedenkt. Beispielsweise könntet ihr einen Blogpost zum Thema Kommentar- Spam schreiben und auf eine Site hinweisen, die euch vor kurzem Spam ins Blog geschoben hat. Ihr wollt andere vor dieser Website warnen, deshalb linkt ihr von eurem Artikel dorthin; gleichzeitig wollt ihr aber sicher nicht, dass die Site etwas von eurer Reputation durch den Link abbekommt. Das wäre der richtige Zeitpunkt, um “nofollow” zu verwenden.

Schließlich besteht die Möglichkeit, alle Links auf einer Seite auf “nofollow” zu setzen, indem ihr “nofollow” im Meta-Tag “robots”, der sich innerhalb des <head>-Tags im HTML-Code der Seite [d] befindet, setzt. Der englischsprachige Blog in der Webmaster-Zentrale liefert einen hilfreichen Post zum Meta-Tag “robots”. Er wird wie folgt verwendet : <metaname = “robots” content=“nofollow”>.

Eure Cabanova Homepage, rel="nofollow" für Links und von Nutzern generierte Inhalte

Das rel="nofollow" Attribut kann auf Links im Cabanova Homepage-Baukasten Level angewandt werden. Nutzer-generierte Inhalte der Website (Gästebuch und Kontaktformular) sind gegen Spam gerüstet.

Ein Spam-Filter in unseren Serverfiltern untersucht Kontaktformulareinträge bevor sie dem Besitzer der Homepage via E-Mail zugestellt werden. Die Einträge des Gästebuchs können vollständig kontrolliert werden und somit niemals vor eurer Freigabe veröffentlicht werden.

Setzt robots.txt-Dateien richtig ein

Schränkt das Crawling, wo notwendig, mit robots.txt ein

Eine robots.txt-Datei teilt Suchmaschinen mit, ob sie auf bestimmte Teile einer Website zugreifen und sie in der Folge crawlen dürfen [a]. Diese Datei muss den Namen “robots.txt” tragen und sich im Hauptverzeichnis eurer Website befinden [b].

Ihr könntet Interesse daran haben, dass bestimmte Seiten eurer Website nicht gecrawlt werden, da sie für Nutzer nicht hilfreich wären, wenn sie in den Suchergebnissen von Suchmaschinen auftauchen würden. Wenn ihr verhindern wollt, dass Suchmaschinen bestimmte Seiten crawlen, könnte ihr auf den hilfreichen robots.txt-Generator der Google Webmaster-Tools zurückgreifen. Der unterstützt euch bei der Erstellung der Datei. Beachtet bei der Verwendung von Subdomains - falls bestimmte Seiten auf einer bestimmten Subdomain gecrawlt werden sollen -, dass ihr eine weitere robots.txt-Datei für die Subdomain erstellen müsst. Für mehr Infos zu robots.txt-Dateien empfehlen wir euch den Beitrag in der Hilfe für Webmaster zur Verwendung einer robots.txt-Datei.

Es gibt eine Reihe weiterer Möglichkeiten, um zu verhindern, dass Content in den Suchergebnissen erscheint - etwa das Hinzufügen von “NOINDEX” zum Meta-Tag “robots”, der Einsatz von .htaccess, um Verzeichnisse durch Passwörter zu schützen, und die Verwendung der Google Webmaster-Tools, um bereits gecrawlten Content zu entfernen. Google Engineer Matt Cutts geht mit euch die Vorbehalte gegen jede dieser URL-Blockier-Methoden in einem (englischsprachigen) Video durch.

Eure Cabanova Homepage und robots.txt

Wir bieten keine Funktion an, die eine robot.txt Datei direkt aus dem Homepage-Baukasten heraus produziert, doch falls gewünscht, könnt ihr eine robot.txt Datei erstellen, indem ihr den Google robot.txt Generator nutzt und uns die Datei dann zur Verfügung stellt.

Wir werden diese im Root-Verzeichnis eurer Homepage auf unserem Server-Level hinzufügen.

Unter dem folgenden Link findet ihr die detaillierte Beschreibung, wie man eine robot.txt Datei erstellt: Klickt hier für die Beschreibung.

a. Wenn ihr zu einer Website linkt, der nicht vertraut und der ihr die Reputation eurer Website nicht vererben wollt, benutzt "nofollow".

b. Ein Kommentar-Spammer hinterlässt eine Nachricht zu einem eurer Posts, in der Hoffnung, etwas von der Reputation eurer Website abzukriegen.

c. Beispiel für ein CAPTCHA auf dem Google Blogdienst, Blogger. Es ist gar nicht so leicht sicherzustellen, dass es tatsächlich eine Person ist, die einen Kommentar hinterläßt.

d. So setzt ihr alle Links einer Seite auf "nofollow".

Um das Gästebuch so einzustellen, dass Einträge nur nach eurer Freigabe veröffentlicht werden, befolgt bitte diese Anleitung.

Gästebuch

a. Jeder konform arbeitende Suchmaschinen-Bot (gekennzeichnet durch das Wildcard-Symbol *) sollte auf den Content in /bilder/ und den Content jeder URL, deren Pfad mit /suche beginnt, nicht zugreifen und diesen nicht crawlen.

b. Die Adresse unserer robots.txt-Datei.

Um eine robot.txt Datei auf eurer Homepage hochzuladen, befolgt bitte diese Anleitung.

robots.txt hochladen

Best Practices

Verwendet eine sicherere Methode für sensible Daten

Ihr solltet robots.txt nicht dazu nutzen, heikle oder vertrauliche Inhalte zu blockieren. Ein Grund dafür ist, dass Suchmaschinen auf die blockierten URLs immer noch verweisen können (indem sie nur die URL anzeigen, nicht aber Titel oder Snippet), falls es Links zu den URLs irgendwo im Internet gibt (beispielsweise in Referrer-Logs). Außerdem könnten nicht konform arbeitende oder zwielichtige Suchmaschinen den “Robots Exclusion Standard” nicht akzeptieren und die Anweisungen in eurer robots.txt-Datei missachten. Schlussendlich könnte ein neugieriger Nutzer die Verzeichnisse und Unterverzeichnisse in eurer robots.txt-Datei begutachten und so die URLs der Inhalte, die ihr verbergen wollt, entdecken. Das Verschlüsseln des Contents oder ein Passwortschutz mit .htaccess sind die sinnvolleren Alternativen.

Vermeidet:

Seiten, die an Suchergebnisse erinnern, crawlen zu lassen

Nutzer mögen es nicht, wenn sie eine Seite mit Suchergebnissen verlassen, nur um auf einer ähnlichen Seite zu landen, die ihnen kaum einen Mehrwert bietet.

Seiten, die das Ergebnis eines Proxy-Service sind, crawlen zu lassen

← Zurück

↑ Nach oben