Идеология дорвеестроения

(информация закрытая, но все же кое чем можно поделится)
В общем говоря это уже не новое изобретение яндексоидов. Единственная цель которого - искать клоачащие и редирекчущие страницы. Это мерзкий червь, который прикрывается маской пользователя и сканирует наши сайты. Это двуликий анус, который пролил много нашей дорвейной крови.
В общем ласковых слов про эту нежить у меня много.

Отбросим в сторону эмоции. И попробуем разобраться что он есть.

Итак хитробот - это, в первую очередь, робот. Робот, который маскируется под человека - те эмулирует вход человека на вашу страницу. Причем делает это очень искусно.

При заходе на разные сайты он периодически меняет UserAgent, Если дергает один сайт несколько раз - UserAgent не меняет (так ведь и ведет себя нормальный пользователь). В строке Referer он как и положено имеет нормальный серч-стринг. Те будто бы он пришел на ваш сайт с яндекса. Или с рамблера или форума. В общем пепец - замаскировался.
Собсно все, теперь ему достаточно сравнить вашу страницу в кэшэ яндекса с тем что он у видел. И все - ваш клоакинг разобличен. Еще говорят он интерпритирует javascript-код, и ходит по редиректам. Это не достоверно, но вполне возможно. И плакали все наши доры горькими слезами.

Но защитится от хитробота можно. Как это сделать? - на блоге писать не буду. Отвечу, если спросите, по аське.

PS Фигу там. ниче не скажу. Ситуация изменилась