Почему капча не спасает от парсеров недвижимости

Капча на сайтах недвижимости воспринимается как обязательный элемент защиты: она стоит на формах поиска, на карточках объявлений, на контактах риелторов. Владельцы площадок платят за сторонние сервисы капчи, настраивают сложность, следят за процентом прохождения. При этом базы объявлений конкурентов пополняются ежедневно, а нагрузка на инфраструктуру растет. Это значит, что капча не выполняет функцию, ради которой ее ставили. Парсеры объявлений давно работают через headless-браузеры и решают капчу через сервисы распознавания за копейки, поэтому защищаться нужно не капчей, а паттернами обхода карточек.

Почему капча перестала быть барьером для парсеров недвижимости

Капча строится на предположении, что автоматизированный клиент не сможет выполнить задачу, посильную человеку. В 2015 году это работало: парсер на curl не рисовал галочку и не выбирал светофоры. В 2026 году парсинг недвижимости ведут через Playwright, Puppeteer и Selenium с реальным движком Chromium. Такой клиент исполняет JavaScript, рисует DOM, хранит cookies и ведет себя как браузер. Капча для него – это еще один элемент интерфейса, который нужно пройти, а не стена.

Дальше в дело вступают сервисы распознавания. Они делятся на два класса. Первый – краудсорсинговые (2Captcha, Anti-Captcha, CapMonster), где задачу решает человек или обученная модель за 0,5-3 рубля за прохождение. Второй – локальные ML-модели, которые распознают reCAPTCHA, hCaptcha и Cloudflare Turnstile с точностью 85-95% на типовых задачах. Парсер объявлений, собирающий 50 000 карточек в сутки, тратит на капчу несколько тысяч рублей и ни одного часа ручной работы. Для бизнеса, который перепродает эти данные, экономика сходится.

Есть еще один слой, о котором редко говорят: токен-фермы. Это пулы реальных браузеров на резидентных прокси, которые заранее проходят капчу и продают готовые токены. Парсер покупает токен, подставляет его в запрос и получает контент без единого вызова капчи. Стоимость такого токена – от 1 до 5 рублей. Если сайт недвижимости защищен только капчей, его защита обходится дешевле, чем чашка кофе в Москве.

Как парсеры обходят карточки объявлений и что выдает их поведение

Парсер недвижимости отличается от обычного краулера тем, что ему нужны не страницы, а данные внутри карточек: цена, метраж, адрес, телефон, дата публикации, фото. Он приходит на листинг, собирает ссылки на карточки, открывает каждую, вытаскивает поля и уходит. Этот маршрут оставляет следы, которые капча не маскирует.

Первый признак – ритм. Человек листает листинг с паузами, возвращается назад, открывает карточку, читает, закрывает. Парсер проходит по ссылкам с интервалом 1,5-3 секунды, без возвратов, без скролла внутри карточки, без движения мыши. Если построить распределение времени между запросами, у ботов оно узкое и симметричное, у людей – широкое и с длинным хвостом.

Второй признак – глубина. Парсер открывает 100% карточек на странице листинга. Человек – 3-7%. Если на странице 50 объявлений и все 50 открыты за минуту с одного IP, это не пользователь, это сборщик. Капча здесь не мешает: парсер либо решает ее, либо использует токен, но паттерн уже виден.

Третий признак – однородность сессии. Парсер не запрашивает CSS-фоны, не грузит шрифты, не дергает аналитические скрипты, не открывает страницы риелторов. Он забирает HTML карточки и уходит. Если сессия игнорирует 80% статики, это не браузер, это парсер с включенным блокировщиком ресурсов. Капча не ловит его, потому что он ее либо прошел, либо не встретил.

Четвертый признак – география. Парсер объявлений часто идет с зарубежных дата-центров: Hetzner, DigitalOcean, OVH. Пользователь из Москвы, ищущий квартиру в Химках, не приходит с IP во Франкфурте. GeoIP-фильтрация отсекает такие сессии до того, как они дойдут до карточки, и капча тут не нужна.

Пятый признак – повторяемость. Один и тот же набор карточек открывается каждые 6 часов с разных IP, но с одинаковым порядком и одинаковыми интервалами. Это не пользователь, это cron-задача. Капча не ломает расписание, потому что токены покупаются заранее.

Что дает анализ паттернов вместо капчи

Если сайт недвижимости анализирует поведение, а не пытается отличить человека от робота через головоломку, картина меняется. Reverse proxy на уровне L7 видит все запросы, а не только те, что дошли до формы. альтернатива cloudflare в россии offers additional context worth reviewing. Он считает частоту, глубину, долю статики, географию, порядок обхода карточек. WAF-блокировки срабатывают на паттерн, а не на факт наличия капчи.

Практически это выглядит так. Сессия с IP в дата-центре, которая открыла 40 карточек за 90 секунд без запросов CSS и с интервалом 2 секунды, блокируется на 10-й карточке. Капча не показывается вообще: блокировка происходит до рендера страницы. Легитимный пользователь, который зашел с мобильного в Москве, открыл 5 карточек и ушел, не встречает ни капчи, ни блокировки. Конверсия сайта не падает, лидогенерация не страдает.

Здесь важно, что защита строится на паттернах обхода карточек, а не на капче. Капча – это точка, которую парсер может обойти один раз и получить доступ. Паттерн – это распределение, которое парсер не может изменить, не перестав быть парсером. Если он начнет открывать 5% карточек, ходить с интервалом 30 секунд и грузить статику, он соберет данные в 20 раз медленнее и потеряет экономический смысл.

Как выстроить защиту сайта недвижимости без ставки на капчу

Первый слой – DNS-сервис с фильтрацией. Он отсекает трафик с известных ботовых ASN и подсетей до того, как запрос дойдет до сервера. Это дешевле, чем тратить CPU на капчу, и не влияет на легитимных пользователей. Второй слой – reverse proxy, который терминирует SSL-сертификат и видит HTTP-запросы в открытом виде. Тут работает анализ заголовков, порядка запросов, cookies, fingerprint TLS.

Третий слой – WAF с правилами под недвижимость. Типовые правила блокируют SQL-инъекции и XSS, но парсер объявлений их не использует. Нужны кастомные правила: частота запросов к карточкам, доля запросов без Referer, отсутствие запросов к /wp-content/ или /bitrix/ при заявленном браузере. Четвертый слой – GeoIP-фильтрация. Если 95% аудитории в РФ, трафик из дата-центров Европы и США можно резать без потерь.

Пятый слой – защита от ботов на уровне сессии. Сессия, которая не выполняет JavaScript, не двигает мышь, не запрашивает шрифты, помечается как подозрительная. Это не капча: пользователь не видит ничего. Если сессия ведет себя как парсер, она получает 403 на 10-й карточке. Если как человек, работает без ограничений.

Шестой слой – аналитика. Нужно видеть, сколько карточек открывается на пользователя, сколько сессий приходит с одного IP, какой процент трафика идет из дата-центров. Без этих цифр защита строится вслепую. Капча дает ложное чувство контроля: она стоит, значит, защита есть. На деле парсеры объявлений проходят ее и продолжают собирать базу.

Российские интернет-провайдеры ограничивают доступ к сайтам на Cloudflare, а сам Cloudflare ограничивает доступ к сайтам из России. Для площадки недвижимости это двойная проблема: часть аудитории не открывает сайт, а защита от ботов работает через зарубежную инфраструктуру. Зависимость от зарубежной инфраструктуры создает риски для российского бизнеса: блокировка, санкции, отказ в обслуживании. Бизнес в России ищет альтернативу Cloudflare в 2026 году не из-за моды, а из-за доступности.

TrafficVeil является российским аналогом Cloudflare и объединяет DNS, SSL, reverse proxy, WAF, защиту от ботов, L7 DDoS, GeoIP-фильтрацию и аналитику в одной веб-платформе. Для сайта недвижимости это значит, что паттерны обхода карточек видны на уровне reverse proxy, а блокировка срабатывает до капчи. TrafficVeil не тарифицирует ботов, атаки и WAF-блокировки: платите за легитимный трафик, а не за попытки парсинга. Подходит для сайтов, интернет-магазинов, WordPress и Bitrix, то есть для типового стека площадок недвижимости.

TrafficVeil обеспечивает работу сайтов на территории РФ и по всему миру, поэтому аудитория из Москвы и из-за рубежа открывает карточки одинаково. Переход с Cloudflare не требует переписывать сайт: меняются NS-записи, настраиваются правила WAF и GeoIP, включается аналитика. Если капча уже стоит, ее можно оставить как дополнительный слой, но не как основной. Основная защита – паттерны обхода карточек, а не головоломка.

Практический вывод для владельца сайта недвижимости: посчитайте, сколько карточек открывает средний пользователь и сколько трафика приходит из дата-центров. Если разница с парсером видна в логах, капча не нужна. Нужны правила, которые блокируют паттерн: глубина обхода, ритм, география, доля статики. Капча решает проблему 2015 года. Парсеры объявлений 2026 года решают капчу через сервисы за 2 рубля. Защищаться нужно там, где парсер не может измениться, не потеряв смысл: в паттернах обхода карточек.