что такое Хитробот?
Thursday, 26. January 2006, 03:58:09
(информация закрытая, но все же кое чем можно поделится)
В общем говоря это уже не новое изобретение яндексоидов. Единственная цель которого - искать клоачащие и редирекчущие страницы. Это мерзкий червь, который прикрывается маской пользователя и сканирует наши сайты. Это двуликий анус, который пролил много нашей дорвейной крови.
В общем ласковых слов про эту нежить у меня много.
Отбросим в сторону эмоции. И попробуем разобраться что он есть.
Итак хитробот - это, в первую очередь, робот. Робот, который маскируется под человека - те эмулирует вход человека на вашу страницу. Причем делает это очень искусно.
При заходе на разные сайты он периодически меняет UserAgent, Если дергает один сайт несколько раз - UserAgent не меняет (так ведь и ведет себя нормальный пользователь). В строке Referer он как и положено имеет нормальный серч-стринг. Те будто бы он пришел на ваш сайт с яндекса. Или с рамблера или форума. В общем пепец - замаскировался.
Собсно все, теперь ему достаточно сравнить вашу страницу в кэшэ яндекса с тем что он у видел. И все - ваш клоакинг разобличен. Еще говорят он интерпритирует javascript-код, и ходит по редиректам. Это не достоверно, но вполне возможно. И плакали все наши доры горькими слезами.
Но защитится от хитробота можно. Как это сделать? - на блоге писать не буду. Отвечу, если спросите, по аське.
PS Фигу там. ниче не скажу. Ситуация изменилась
В общем говоря это уже не новое изобретение яндексоидов. Единственная цель которого - искать клоачащие и редирекчущие страницы. Это мерзкий червь, который прикрывается маской пользователя и сканирует наши сайты. Это двуликий анус, который пролил много нашей дорвейной крови.
В общем ласковых слов про эту нежить у меня много.
Отбросим в сторону эмоции. И попробуем разобраться что он есть.
Итак хитробот - это, в первую очередь, робот. Робот, который маскируется под человека - те эмулирует вход человека на вашу страницу. Причем делает это очень искусно.
При заходе на разные сайты он периодически меняет UserAgent, Если дергает один сайт несколько раз - UserAgent не меняет (так ведь и ведет себя нормальный пользователь). В строке Referer он как и положено имеет нормальный серч-стринг. Те будто бы он пришел на ваш сайт с яндекса. Или с рамблера или форума. В общем пепец - замаскировался.
Собсно все, теперь ему достаточно сравнить вашу страницу в кэшэ яндекса с тем что он у видел. И все - ваш клоакинг разобличен. Еще говорят он интерпритирует javascript-код, и ходит по редиректам. Это не достоверно, но вполне возможно. И плакали все наши доры горькими слезами.
Но защитится от хитробота можно. Как это сделать? - на блоге писать не буду. Отвечу, если спросите, по аське.
PS Фигу там. ниче не скажу. Ситуация изменилась
>Еще говорят он интерпритирует javascript-код, и ходит по редиректам
Случаем незнаешь он отдельно код редиректа грузит(если он в отдельном файле) или переходит на него со страницы как обычный броузер?
By anonymous user, # 18. February 2006, 09:26:44
но могу предположить, что грузит (иначе это было бы досадной оплошностью со стороны яндексоидов).
By doorway, # 20. February 2006, 03:06:45
Флешку что ли использовать для редиректа?
By anonymous user, # 27. February 2006, 19:09:00
если уж показал его хитроботу, то он всяка его распознает.
Единственый вариант - тупо не показывать
By doorway, # 13. March 2006, 16:24:08