[Решение] Борьба со спамом Biterika group
Блокируем IP адреса Битерики
Biterika – является облачным провайдером серверов, так сказано на их сайте. В то же время, визиты ботов из их сетей достаточно быстро и качественно опустят ваш сайт в выдаче, испортят поведенческий фактор (ПФ), нагрузят сервер и принесут еще много пищи для размышления и немало бед.
Боты Битерики маскируются под обычными пользователями, в Вебизоре Метрики можно отследить визит и перемещение, как правило среднее время визита 2 минуты, бот открывает 1-2 страницы.
Бот также скролит страницу с одинаковой скоростью, делает пару кликов в разных местах, часто в пустых участках. Если обратить внимание на визуальную загрузку экрана страницы – можно увидеть, что некоторые блоки отображаются в Метрике криво, в то время как при обычном визите – запись экрана адекватная и блоки вашего сайта находятся на своих местах.
В дополнении, можно отнести то, что разрешение экрана у ботов Битерики достаточно странное, например 600х200, либо достаточно адекватное, как на скрине ниже 2560х1440.
Блокируем визиты Biterika по IP
Рабочий метод — заблокировать IP адреса Битерики в файле .htaccess, т.е. вносим их в черный список.
Можно блокировать адреса через маску подсети, к примеру: 192.144.*.*, либо выгрузить список по AS сети, в нашем случае ASN Битерики — 35048.
Для справки по AS сети с Wikipedia: Автономная система (англ. autonomous system, AS) в интернете — система IP-сетей и маршрутизаторов, управляемых одним или несколькими операторами, имеющими единую политику маршрутизации с Интернетом.
Order Deny,Allow
Deny from 192.144.31.0/24
...
# полный список IP адресов можно скачать ниже (*кнопка - Скачать .htaccess)
Список IP адресов для блокировки Biterika
Предлагаю вашему внимаю сайт (enjen.net), который поможет нам подготовить код вместе с необходимыми IP адресами для блокировки Битерики. Также для вашего удобства, я залил готовые файлы .htaccess с полным списком IP адресов, скачать можно ниже.
Будь добр, отпишись в комментариях, получилось ли тебе решить проблему с Битерикой или нет? Я потратил более месяца своего времени, чтобы понять как все таки избавиться от надоедливых ботов и написать для тебя эту статью.
Пароль архива: cliffepr
Коды блокировки IP адресов Битерики предоставлены в файлах “Скачать .htaccess” для веб-серверов Apache 2.2, а также для обновленного Apache 2.4. Если вы используете другую систему, переходите на сайт enjen.net, там можно скачать готовый файл, который будет оптимизирован под вашу систему (Nginx, Jupiter и т.п.).
Если вы затрудняетесь в самостоятельной блокировке IP адресов, напишите мне в мессенджеры, помогу на платной основе. Можно также оставить заявку.
Скачать .htaccess и его вариации с готовым списком блокировок IP Битерики — можно кликнув по кнопке ниже:
Прилагающие ASN Biterika
Для удобства, можно проанализировать информацию о маршрутах между AS и определять прилагающие ASN. Также можно видеть, что из них являются прямыми соседями и какие соединены через промежуточные AS.
Напоминаю – AS35048 – это ASN Битерики Групп.
Рост IP Битерики
На графике можно видеть, что рост IP адресов Битерики остановился в 2021 году, соответственно регулярно обновлять базу IP для блокировки не нужно. Достаточно будет списка, который я дал в статье.
Скачать файлы со списком IP для блокировки можно кликнув на кнопку “Скачать .htaccess”, после чего откроется всплывающее окно с выбором необходимой версии файла. В этом же окне можно отправить донат )
Спасибо!
Рад помочь )
Приветствую.
Это что, площадка для заказных взломов сайтов?
Вы имеете ввиду Битерику?
Да. Уже несколько дней атакуют сайт интернет-магазина. Написал Битерике – ответа нет.
Битерика – Облачный провайдер серверов, а вот как используют их услуги – здесь все под вопросом. Мне помогло решение, которое я привел в статье, блокируйте их и все.
У бетерики есть еще одна компания, они занимаются продажей прокси, скорее всего у них просто покупали прокси
Спасибо огромное!
словили уже несколько атак от них…
а есть рекомендации чего ещё можно добавить в блек-лист?
Однозначно нужно блокировать ботов типа: AhrefsBot|BLEXBot|MBCrawler|YaK| и т.д.
Постараюсь написать статью на эту тему…
Привет. Разместил все как у тебя – все равно проходят.
Может не так сделал. Зависит от места вставки в самом .htaccess?
Привет. Отправь свой файл .htaccess мне в Телеграм, проверю.
Контакт по ссылке можно найти.
https://cliffe.ru/kontakt/
Народ! Ip адреса под кнопкой скачать .htaccess и сайт который обновляет данные в конце статьи, переход по кнопке.
Все известные диапазоны ip адресов в файле . htaccess
Спасибо за данное решение! Мне помогло. Спал траффик с бетерика
Привет. Круто!
Спасибо! Валом валят с этих IP поведенческие боты
Диапазон Ipv6 вообще пришлось на хостинге отключить
Привет. Рад, что смог помочь ))
Добрый день. .htaccess доступ запаролен? как ее получить скажите пожалуйста.
Здравствуйте. Пароль указан в плашке “Внимание!”. Пожалуйста, смотрите контент на странице внимательно.
Спасибо за статью и список IP!
Столкнулся с той же проблемой уже пару лет как. Трафик из Яндекса сильно просел. Из Гугл наоборот чуть подрос.
Добавил приведенные IP в свой .htaccess – прямые заходы снизились процентов на 15, но по прежнему составляют примерно половину от всего трафика на сайт.
Как выявить оставшиеся адреса Biterika Grupp OOO ?
В метрике вижу переходы из этой сети, но не вижу IP, в Awstats вижу IP, но не вижу из какой сети был сделан переход.
Заранее спасибо!
Здравствуйте, Метрика не показывает ip, адреса посещений смотрите в логах.
Имея ip адрес, можно узнать ASN, далее уже в специализированных сервисах искать все ip принадлежавшие этой сети.
Касательно Битрики, переходите на сайт (соседняя кнопка возле кнопки Скачать), там регулярно обновляется список адресов.
Спасибо!
В поддержке хостинга подсказали еще такой вариант узнать все IP Biterika Grupp;
https://ip.osnova.news/isp/Biterika%20Group%20LLC/
Однако, кроме Biterika Grupp у меня еще огромное кол-во переходов из этих сетей: Beeline-Moscow GPRS Firewall
Metropolitan branch of PJSC MegaFon
Tele2 Russia IP Network (MSK)
111250 Russia Moscow
OJSC Rostelecom Macroregional Branch South
Получается их тоже все банить по IP&
По сути можно банить по сетям, подсетям, либо по ip, но нужно понимать, что заблокировав ip адрес – можно отрезать доступ реальным юзерам, т.к. боты меняют адреса периодически.
Можно использовать Cloudflare к примеру, чтобы фильтровать трафик.
Возможно нубский вопрос. А как проще проанализировать логи? Через какую программу/сервис. На наличие IP от Битерики. Наплыв прямых заходов есть. А как понять, что именно в Битерике дело? Просто так утяжелять .htaccess не хотелось бы…
Чтобы не заморачиваться, можно cloudflare подключить, но это отдельная история. По своему опыту – анализирую самостоятельно логи, понятное дело, уходит много времени, но это работает.
К примеру на https://beget.ru есть функция включения логов и встроенный сервис для мониторинга ip.
Что касается самой битерики – мониторьте обновления ip-адресов на enjen.net , есть кнопка выше, возле кнопки скачать .htaccess
Если блокировать ботов и ip вручную, в любом случае придется утяжелять .htaccess
В яндекс метрику можно вшить определение ip почитайте там ничего сложного
https://maks.live/articles/drugoe/opredelenie-ip-adresa-posetitelia-v-otchetakh-yandex-metrika/
Согласен
Скажите, как пользоваться этим сайтом? ничего не понятно
Каким сайтом?
Внес IP шники, уже с час как еб..ой битерики пока не было.. Спасибо за труд!
Привет. Рад, что смог помочь )
Мне дали решение в другом месте, но видимо ноги отсюда растут. Пишу спасибо!!!
)) долой Битерику )
Спасибо за решение! А есть смысл стучаться в поддержку Яндекс.вебмастера с фактом, что сайт спамят с целью негативизации ПФ, или они такое рассмотрят только в случае установления ограничения на сайт?
Привет. Смысла думаю нет, т.к. вы скорее всего получите шаблонный ответ от Платона, что якобы Яндекс понимает визиты ботов и не берет их в счет ранжирования.
Я уже обращался в сапорт Яндекса, мне сказали, что на падение в поисковой выдачи – визиты ботов не влияют, также указали на то, что конкуренты тоже развиваются ) Как мы здесь все видим, сайт проседает из-за Битерики однозначно! Так что будем решать момент со скруткой ПФ ручками так сказать…
К примеру моя коммерческая страница: https://cliffe.ru/logocreate была на первой странице по (органике) запросу – Заказать логотип, сейчас она просела из-за скрутки ПФ (( Хз как восстанавливать теперь её.
Спасибо большие за труды! Эта тема видимо всегда актуальна. А если мой Htaccess файл уже заполнен записями разных плагинов типа All In One WP Security итд, то куда вставить наш запрет в начале файла или в конце?
Вставляйте в любое место, будет работать
Спасибо!! А Вы случайно не занимались
IPv4 address block not managed by the RIPE NCC
Чуть меньше лезут, но все равно ?
Пока изучаю этот вопрос, в любом случае если вас атакуют со всех сторон, лучше использовать cloudflare либо подобный сервис.
Спасибо большое. апрель 2023 полет нормальный. Решение работает)
Супер!
круть, спасибо
Самое оптимальное блокировка – по ASN AS35048 BITERIKA-AS
Ip можно навредить! И заблокировать не того кого надо!
Согласен, но чтобы блокировать по ASN – нужен список входящих IP, соответственно список дан.
Зачем вам портянка из ip? У вас есть один ASN – (35048). Пробиваем ASN (по ip – https://bgpview.io/ip/45.15.73.245) Получаем список ASN и забываем про BITERIKA-AS, и остальное гав…. Это как Имя при рождении, а место жительство уже второстепенный вопрос:)
Согласен. Добавлю примеры кода в статью
А по вашему нужно каждого юзера который заходит на сайт, прежде чем пропустить, пробивать через сторонний сервис?)
Нет конечно) Если есть подозрение, почему бы и не пробить )
Вы вообще о каких юзерах!??? Это к чему? Судя по вопросу, вы вообще не в теме проблемы!
Здравствуйте
Пописал код в htaccess:
order allow,deny
deny from AS35048
allow from all
все равно есть заход с битерики
Через какое время после внесения изменений должна сработать блокировка?
Код действительно не работает. Скачайте пак ip адресов и загрузите их в .htaccess – это точно поможет
htaccess не поддерживает блокировку по номеру автономной системы (ASN)
список ип адресов анонсируемых автономной системой можно посмотреть например вот здесь https://bgp.he.net/AS35048#_prefixes
для блокировки через htaccess можно сгенерировать список правил по номеру ASN
например с помощью:
https://www.enjen.net/asn-blocklist/index.php?asn=35048&type=htaccess
Угу, все верно )
Здравствуйте!Скажите, пожалуйста, куда и как этот список https://www.enjen.net/asn-blocklist/index.php?asn=35048&type=htaccess вставить?
Здравствуйте. Читайте пожалуйста внимательно текст в статье.
!!! Удалил сокращенную версию кода – способ нерабочий оказался. Ожидайте, скоро подкину еще решение, пока проверяю его на своем сайте.
Используйте пак IP адресов который я дал в статье, скачивайте файл .htaccess
Приветствую. Спасибо за важную работу.
Как предложение, добавьте файлик для посвежее версии апача. Сейчас по другому конфиг блока.
Приветствую, добавлю на днях.
P>S
Небольшая справка для посетителей: Order Deny,Allow использует более старый способ определения правил доступа, который использует директивы Deny и Allow. Такие правила легко понять и использовать, но они могут оказаться недостаточно гибкими для сложных сценариев.
Просьбу выполнил )
Прямые заходы на сайт идут на 2 конкретные страницы. Можно что-то с этим сделать? Как-то запретить прямой заход на них?
Можно, но скорее всего боты передут на другие страницы. Инфу как блокировать визиты на отдельные страницы можете найти в сети.
Добавлен файл с кодами блокировки для обновленной версии Apache 2.4
добрый день, почему-то не подходит пароль к архиву..
Здравствуйте. Огромное количество скачиваний, все работает ) Возможно вы скопировали лишний пробел…
Спасибо за метод блокировки, похоже конкуренты накручивают пф и минусуют выдачу, пока поток этого говна с битерики остановился. Вот вопрос к яндексу так и остается открытым – все как они любят – отписки и туманные объяснения про фильтрацию ботов в показах метрики, а вот почему их алгоритм пф автоматом понижает выдачу сайта на который идет атака ботов и соответственно тот кто заказывал это дерьмо поднимается в поиске
Привет. Вы правы полностью )
Спасибо! Добавьте еще способ блокировки через ngnix! сайт работает без apache
Здравствуйте Евгений. В статье есть ссылка на Enjen – там вы сможете скачать готовый файл для ngnix
Большое спасибо, частично остановил поток. Следом пошли так же с мобильников с непонятным разрешением экрана из Москвы. Корпорации совсем обнаглели и даже не смотрят кого и с каким доходом топят. Куча ярких примеров про яшу с подтверждение о ручной блокировки магазина и прочими подставами со стороны их управления и менеджмента. Пишешь им очевидные вещи, а они тебя блокируют в своем телеграме))))
Всегда пожалуйста и удачи в решении проблем )
Спасибо Вам огромное за вашу работу! Вы спасли мой сайт. Показатель отказов из-за этой атаки на прямых заходах вырос с 4-6% до 56-58%. После блокировки всех этих ip сайт вернулся на свои прежние показатели.
Подскажите пожалуйста, ниже Вы писали, что планируете статью про блокировку ботов типа: AhrefsBot|BLEXBot|MBCrawler|YaK| и т.д. Есть уже такая статья?
Здравствуйте. Рад, что мое решение вам помогло ) Касательно новой статьи – еще не писал, занимаюсь исследованием.
RewriteCond %{HTTP_USER_AGENT} AhrefsBot
RewriteRule (.*) – [F,L]
RewriteCond %{HTTP_USER_AGENT} MJ12bot
RewriteRule (.*) – [F,L]
RewriteCond %{HTTP_USER_AGENT} Detectify
RewriteRule (.*) – [F,L]
RewriteCond %{HTTP_USER_AGENT} dotbot
RewriteRule (.*) – [F,L]
RewriteCond %{HTTP_USER_AGENT} Riddler
RewriteRule (.*) – [F,L]
RewriteCond %{HTTP_USER_AGENT} SemrushBot
RewriteRule (.*) – [F,L]
RewriteCond %{HTTP_USER_AGENT} LinkpadBot
RewriteRule (.*) – [F,L]
RewriteCond %{HTTP_USER_AGENT} BLEXBot
RewriteRule (.*) – [F,L]
RewriteCond %{HTTP_USER_AGENT} FlipboardProxy
RewriteRule (.*) – [F,L]
RewriteCond %{HTTP_USER_AGENT} aiHitBot
RewriteRule (.*) – [F,L]
RewriteCond %{HTTP_USER_AGENT} trovitBot
RewriteRule (.*) – [F,L]
RewriteCond %{HTTP_USER_AGENT} BUbiNG
RewriteRule (.*) – [F,L]
RewriteCond %{HTTP_USER_AGENT} MauiBot
RewriteRule (.*) – [F,L]
Спасибо за совместный труд )
Biterika Grupp OOO переходы идут с соцсетей
Как вы это поняли?
В метрике, со всех месенджеров и соц сетей
Приложите скрин ссылкой на статистику пожалуйста.
Здравствуйте. Подскажите, возможно справиться с этой заразой на конструкторе Тильда? На нем нет функции блокировки IP, только возможность дать доступ с определенных адресов.
Привет. Попробуйте обратиться в сапорт Тильды, возможно админы вам помогут.
Добрый день. Реализовал на сайте для варианта ngnix сервера (с блэк файлом и добавлением в секцию server). Один день было все ок. Единичные заходы бетрики. Сегодня все опять вернулось. Проверил – файл есть, вызов файл тоже. В метрике не видно подсетей, но проверил идут заходы по всем, что есть в списке. Что может быть?
Рабочим методом является добавление ip адресов в .htaccess. Если в логах есть заходы с битерики, посмотрите на ответ сервера, если он равен значению 304 или 403 – то это означает, что боту отказано в доступе. Получив регулярный отказ, бот в скором времени перестанет заходить к вам на ресурс.
Здравствуйте, Александр!
Спасибо за Ваш метод, действительно помогло остановить трафик с Битерики.
Но спустя месяц обнаружилась новая волна ботов из IP-сети Static IP pool for broadband customers in Moscow. Общие признаки таких посещений (по данным Яндекс Метрики):
– прямые заходы;
– регион: Россия;
– номер визита: 1;
– просмотров: 1;
– время на сайте: менее 30 сек;
– ОС: Андроид;
– необычно малое разрешение экрана (что-то типа 123×274 или 108×234).
Не знакомы ли Вы с ботами из этой IP-сети? И может есть какое-то решение и этой проблемы?
Приветствую, в статье приводится решение в борьбе с Битерикой. В случае с Static IP pool for broadband customers in Moscow есть риск отрезать реальных пользователей. Переводите сайт на CloudFlare, так получится избавится от паразитного трафика.
Доброго времени суток господа.
Картина похожая. Подвергся сайт атаке ботов, вышел на ip битерики..
Может у кого есть соображения как выйти на аффтара этой истории?
Кто нас так любит?
До нее был уже Smartape, ISP4LIFEUS-NET, и еще несколько..
Кончаются российские ip, мочат иностранными.
И, молодцы, что тему подняли. Спасибо. Сайтов много, но такое впервые и на одном.
Спасибо автору, блокировка Битерики помогла избавиться от 90% ботов (список ip брал по их подсети). Сейчас боты меняют тактику, добавляют новых провайдеров и делают не только прямые заходы, но и переходы с других сайтов (таких отсечь сложно).
Из новых сетей со 100% отказов и прямыми заходами: “NKS broadband customers”, их можно блочить по Deny from 188.255.0.0/18. Также, много идёт от “Static IP pool for broadband customers in Moscow” и “Moscow Local Telephone Network (OAO MGTS)”, но способа борьбы с ними пока не нашел.
Привет. Указанные вами сети не являются новыми, борьба с ними возможна через сторонние сервисы, например: cloudflare
Здравствуйте, значит на сайт конкуренты нагнали ботов, я устранил проблему с помощью cloudflare.com, далее ситуация изменилась теперь с поисковых систем когда переходят на сайт, то попадают через прокси после проверки на мой сайт, то есть проверяет пользователя и после направляет уже на сайт. Проблема в том, что при переходе из поисковой системы в начале проверки и после направления на мой сайт, данный пользователь в метрике считается не как пользователь кто перешел с поисковой системы по таким то таким запросам, а считается как внутренный переход. То есть человек когда пишет ключевое слово и переходит на мой сайт то после проверки на бота попадает на мой сайт и в метрике считается как внутренный переход…. На сколько это плохо будет влиять на позиции сайта, что все пользователи считаются как внутренный переход а не из поисковой выдачи. Что делать в этом случае? Яндекс после того как увидит что это типо не из поиска а внутренные переходы может меня вниз бросить в поиске? как быть в этой ситуции? Проблема ли это или не стоит беспокоится это всего лишь анализ. а более четко роботы и яндекс все видят и знают что это из поиска и нет проблем?
Здравствуйте, значит на сайт конкуренты нагнали ботов, я устранил проблему с помощью cloudflare.com, далее ситуация изменилась теперь с поисковых систем когда переходят на сайт, то попадают через прокси после проверки на мой сайт, то есть проверяет пользователя и после направляет уже на сайт. Проблема в том, что при переходе из поисковой системы в начале проверки и после направления на мой сайт, данный пользователь в метрике считается не как пользователь кто перешел с поисковой системы по таким то таким запросам, а считается как внутренный переход. То есть человек когда пишет ключевое слово и переходит на мой сайт то после проверки на бота попадает на мой сайт и в метрике считается как внутренный переход…. На сколько это плохо будет влиять на позиции сайта, что все пользователи считаются как внутренный переход а не из поисковой выдачи. Что делать в этом случае? Яндекс после того как увидит что это типо не из поиска а внутренные переходы может меня вниз бросить в поиске?? как быть в этой ситуции? Проблема ли это или не стоит беспокоится это всего лишь анализ. а более четко роботы и яндекс все видят и знают что это из поска и нет проблем?