robots.txt für Web to Date / Shop to Date
robots.txt in Web-to-Date einbinden
Die robots.txt sagt einer Suchmaschine welche Dateien Ihres Web-to-Date Projekts nicht indiziert werden sollen. Dies macht Sinn um z.B. alle Systemdateien von vornherein aus den Googlelisten fernzuhalten.
Auch kann man hierüber den images-Ordner von der Suche ausschließen, wenn man nicht möchte, dass die eigenen Bildern in den Ergebnissen der Google-Bildersuche auftauchen.
Besonders interessant wird das aber, wenn man in Web-to-Date und Shop-to-Date die Funktion 'Druckbare Seiten' verwendet. Dann wird nämlich ein Abbild der Seite erstellt das 1.) viel weniger Quellcode enthält und 2.) sehr gut intern verlinkt ist. In der Folge kann es passieren, das statt der eigentlichen Seite in den Suchergebnissen die Druckseite angezeigt wird.
Um die robots.txt in Web-to-Date anzulegen, muss man drei Schritte machen.
1.) Zuerst wird die robots.txt ins Template eingebunden. Öffnen Sie dazu in Ihrem Templateordner (z.B. ... designs / RHO ) die Datei navigation.ccml
Geben Sie unterhalb der Zeile: <meta name="generator" ... folgendes ein:
<meta name="siteinfo" content="robots.txt" />
2.) Legen Sie mit dem Texteditor eine Seite mit dem Namen robots.txt an.
In die erste Zeile schreiben Sie: User-agent: *
Damit gelten folgende Anweisungen für alle Suchmaschinen.
Danach legen Sie die Ordner fest, die nicht durchsucht werden sollen, z.B.:
Disallow: /plaintext/
Disallow: /mobile/
Disallow: /images/
Disallow: /assets/
Disallow: /downloads/
Disallow: /formulare/
Eine Zeile für jeden Ordner. Die Ordnernamen müssen natürlich zu denen in Ihrem Projekt passen. Um herauszufinden welche Ordner vorhanden sind, müssen Sie mit einem FTP Programm (das sollten Sie von Ihrem Provider bekommen haben) auf das Verzeichnis zugreifen, in dem Ihre Homepage abgelegt ist.
/plaintext/ ist der Ordner für die druckbaren Seiten, /mobile/ für mobile Seiten (für Smartphones etc.), /images/ der Bilderordner, /assets/ der Ordner für Systemdateien.
Dann folgen Anweisungen für einzelne Dateien aus dem Startverzeichnis.
Disallow: /fts.php
Disallow: /fts.idx
Disallow: /s2daddr.php
Disallow: /s2dbskt.php
Disallow: /s2dbuypd.php
Disallow: /s2dcomplete.php
Disallow: /s2ddown.php
Hier können Sie die Namen von allen Systemdateien angeben, die Sie in Ihrem Hauptverzeichnis finden.
Auf keinen Fall dürfen Sie hier die Datei index.html (oder index.php) angeben, sonst wird Google auch den Rest Ihrer Seite nicht mehr indexieren.
Und falls Sie die Google Bildersuche komplett ausschließen wollen, dann geben Sie am Ende noch ein:
User-agent: Googlebot-Image
Disallow: /
3.) Laden Sie die soeben erstellte robots.txt mit Ihrem FTP-Programm ins Hauptverzeichnis Ihrer Homepage (dort wo sich auch die index.html / index.php befindet.
Hier können Sie eine druckoptimierte Version dieser Seite ausdrucken.
Um eine Druckvorschau zu sehen, benutzen Sie bitte die Druckvorschau Ihres Browsers.
