Компания SmartWeb, владеющая проектами-каталогами UAProm.net и RUProm.net, вынуждена была забанить сумасшедшего робота «Яндекса», который выкачивал десятки страниц в секунду.
«Сегодня наш сервер переполнил количество соединений с СУБД из-за излишней прожорливости YandexSomething-бота», — сообщается в блоге компании 15 июня. Далее говорится, что в этот день между 20 и 21 часами робопаук выкачал 19238 страниц на серверах uaprom.net и ruprom.net, доходя до 12 страниц в секунду. В твиттере той же компании говорится уже про 20-30 запросов в секунду.
Бот YandexSomething описывается в разных источниках как робот, «индексирующий новостные потоки партнеров Яндекс-Новостей». Однако, судя по обсуждениям в форумах, он донимает не только новостные сайты.
В связи с высокой нагрузкой владельцы сайтов RUProm.net и UAProm.net забанили этого бешеного бота через robots.txt. Но сегодня они выяснили, что это приводит к мстительному эффекту — «Яндекс» вообще перестал индексировать их сайт. Пришлось заменить полный запрет бота (Disallow) на уменьшение частоты доступа (Crawl-delay).
Стоит заметить, что уже не первый случай сумасшествия поисковых пауков. В начале мая хостинг-компания «Мастерхост» перестала пускать роботов «Яндекса» на сайты своих клиентов, так как эти роботы тоже производили эффект DoS-атаки. Представители робота отмазались весьма стандартно: Александр Садовский заявил, что это связано всего лишь с переносом обхода сайтов ботами с ночного времени на дневное, и назвал DoS-защиту «Мастерхоста» несложной — дескать, это она ошиблась, а вовсе не «Яндекс».Ровно те же аргументы использовала в 2006 году Webalta, чей робот создавал перегрузки у провайдеров. Представители поисковика тоже говорили тогда, что во всем виноваты вебмастера, которые не легли под робота именно в той позе, которую захотел робот в этот день.
Этим началась ржака, а теперь смотрим комменты:
Автор:У них есть robots.txt. Но если робот заваливает сайт, то это говенный робот, а вовсе не сайт виноват. Потому что сайты делаются для людей, а не для роботов.
Исключения составляют сайты оптимизаторов. Оптимизаторы не являются людьми по определению: они всего лишь биомасса на службе робота. Но это не значит, что робот имеет право переносить отношения со своей рабской биомассой на всех нормальных людей.
Второй абзац записал в блокнотик, чего и вам советую :D
Гость:без поисковых систем — о твоем сайте узнают единицы и нахрен никому не будет нужен... так что не вякай...
а сайты оптимизаторов — ни что иное как паразитирование на несовершенстве поисковых машин... именно из за них в инете все труднее найти нужную инфу...
слова похожие на «ты не вякай!!1 дай мне повякать!» или «сеошники делают гавняные и ненужные никому сайты»
Автор:
Детка, мой сайт появился в Сети задолго до появления Гугла и Яндекса.
И его видело достаточно народу — без поисковиков.
А если ты в то время ходил под стол, это твоя проблема.
а, вы про «сайт друзей» на народе? даа, помню-помню ,)
дальше идёт унылый срач с оскорблениями друг друга в поиске правды и потом
Автор:Да-да, покупайте хостинг у компании Яндекс.Хостинг — и у вас не будет проблем с ботами.
Заводите сайты на Яндекс.Народе — и тогда Яндекс проиндексирует их раньше других.
Покупайте рекламу в Яндекс.Директе — и ваши сайты сразу поднимутся в обычной выдаче.
Ведите блоги на Яндекс.Блогах — и они будут первыми в поиске по блогам.
Транслируйте тексты спизженных новостей в Яндекс.Новости — и они будут показываться в поиске вместо оригиналов.
Отдавайте краденые книги в Яндекс.Книги — и этот сервис найдет именно пиратскую версию вместо авторской.
Короче, самое честное зеркало Рунета работает еще честнее, если на него помолиться и принести ему в жертву барашка.
зависть не лучшее качество человека ;)
Тема на сёрче