websecurity

Errichtet man zum Schutze seines Contents Zugriffssperren auf seiner Website, ist es natürlich sehr wichtig, die Crawler der Suchmaschinen, in welchen man seine Site gelistet haben möchte, nicht mit auszusperren (Anderenfalls wird die Site zum absoluten Geheimtip!).
Hierzu überprüft man die Authentizität des Crawlers beispielsweise mittels eines PHP-Scripts:

<php
$SEquery = $_SERVER['HTTP_REFERER'];
$agent = $_SERVER['HTTP_USER_AGENT'];
$ip = $_SERVER['REMOTE_ADDR'];
if (eregi('googlebot', $agent) or eregi('Mediapartners-Google', $agent)){
$host = gethostbyaddr($_SERVER['REMOTE_ADDR']);
$ip2 = gethostbyname($host);
if ($ip == $ip2 && eregi("googlebot", $host)){
//ist es der Googlebot, geschieht nichts.
}
else {
header("Location: sperrseite"); //gibt sich eine andere Anwendung als "Googlebot" oder "Mediapartners-Google" aus, wird der Zugriff verweigert, und es erfolgt eine Weiterleitung zur Sperrseite.
exit;
}
}
?>

mehr dazu

Bürger eines Staates rufen nach der Ordnungsmacht (Polizei), wenn die persönliche Freiheit oder Sicherheit gefährdet ist.
Ähnliches erlebt man in Foren und Blogs für Webmaster, wenn Websites Übergriffe aus dem konkurrierenden Umfeld erfahren. Man ruft nach einer Ordnungsmacht, die es im grenzenlosen Internet nicht gibt. Was bleibt, sind Spamreports an die Adressen der Suchmaschinenbetreiber, die, wenn sie denn überhaupt Wirkung zeigen, nicht nachhaltig sind und auch nicht sein können. Im Zeitalter von Kostenlos- und Billigstdomains, wo Professionals mit hunderten von Domains operieren, und dies weltweit (via Proxy), ist keine Gegenwehr mehr möglich.

Einzig Schutzmaßnahmen eines jeden Webmaster, für eine jede, einzelne seiner Pages, kann weitestgehende Protection gegen automatisierten Contentklau und ähnlichen Übergriffen erzielen.

weiter