Sperrung gegen Roboter

Aufgrund des hohen Datenabrufs, der dadurch verursacht werden kann, daß Suchroboter Seiten mit CGI-Parametern indizieren, habe ich sämtliche URL-Aufrufe, die ein Fragezeichen beinhalten, gegen den Abruf durch Suchroboter gesperrt.

Besonders deutlich sieht man dies an meiner Seite über die Coderung von Farben http://start.farben.rehbein.net :

Wenn hier ein Suchroboter ansetzt und sämtliche Links inklusive der Aufrufe mit CGI-Parameter verfolgt, so würde er bei Weiterverfolgung aller Links letztlich er die Seite mit sämtlichen möglichen 16 Millionen Farben als Parameter aufrufen. Er würde damit ein Abrufvolumen von etlichen Hundert Gigabyte verursachen, ohne darin (mit Ausnahme der Startseite ohne CGI-Parameter) sinnvolle Informationen zu erhalten. Diese Übertragungsvolumen hätte ich aber teuer zu bezahlen. Um mich vor solchen Kostenfallen zu schützen, habe ich bei allen Aufrufen mit CGI-Parametern einen Schutz eingebaut, der Suchrobotern den Zutritt verwehrt.

Ihr Zugriff wurde anhand des Browser-Identifikationstexts als Zugriff eines Suchroboters identifiziert. Deshalb sind Sie auf diese Informationsseite umgelenkt worden. Wenn Sie wissen wollen, welcher Identifikationstext vom Webserver empfangen wurde, rufen mit derselben Software meine Webseite "Ihre Datenspur" unter http://daten.rehbein.net auf.

Daniel A. Rehbein

Webseiten:     http://www.the-daniel-net.de     http://mein-dortmund.de     http://essen-ist-fertig.de