websecurity

Errichtet man zum Schutze seines Contents Zugriffssperren auf seiner Website, ist es natürlich sehr wichtig, die Crawler der Suchmaschinen, in welchen man seine Site gelistet haben möchte, nicht mit auszusperren (Anderenfalls wird die Site zum absoluten Geheimtip!).
Hierzu überprüft man die Authentizität des Crawlers beispielsweise mittels eines PHP-Scripts:

<php
$SEquery = $_SERVER['HTTP_REFERER'];
$agent = $_SERVER['HTTP_USER_AGENT'];
$ip = $_SERVER['REMOTE_ADDR'];
if (eregi('googlebot', $agent) or eregi('Mediapartners-Google', $agent)){
$host = gethostbyaddr($_SERVER['REMOTE_ADDR']);
$ip2 = gethostbyname($host);
if ($ip == $ip2 && eregi("googlebot", $host)){
//ist es der Googlebot, geschieht nichts.
}
else {
header("Location: sperrseite"); //gibt sich eine andere Anwendung als "Googlebot" oder "Mediapartners-Google" aus, wird der Zugriff verweigert, und es erfolgt eine Weiterleitung zur Sperrseite.
exit;
}
}
?>

mehr dazu