Парсер сайтов на заказ: сбор открытых данных по расписанию
Собираем открытые данные с сайтов поставщиков, каталогов и справочников в аккуратную таблицу — по расписанию и без ручного копирования.
Обычно парсер заказывают, когда сотрудник уже неделю копирует карточки с сайта поставщика: название, артикул, цену, наличие, характеристики. Через месяц у поставщика меняется вёрстка, таблица расходится с реальностью, а исправлять её некому.
Мы начинаем не с кода, а с вопроса, откуда законнее и надёжнее взять данные. Часто у поставщика есть YML-фид, выгрузка для партнёров или API — тогда разбирать страницы не нужно вовсе. Если источник только сайт, собираем то, что открыто любому посетителю, с паузами между запросами и с учётом robots.txt.
На выходе — не просто скрипт, а процесс: запуск по расписанию, проверка полноты собранного, уведомление в Telegram, если источник изменился, и понятный файл или таблица, с которыми работают менеджеры.
Типовой проект · пакет «Спутник»
47 600 ₽
1 неделя
- Каталоги и карточки
- Сбор по расписанию
- Контроль полноты
- Выгрузка куда удобно
Возможности
Что делает парсер
Каталоги и карточки
Название, артикул, цена, наличие, характеристики и ссылки на страницы — в единую структуру.
Сбор по расписанию
Раз в сутки, раз в час или по кнопке — как требует задача, без лишней нагрузки на источник.
Контроль полноты
Скрипт сравнивает число позиций с прошлым запуском и предупреждает, если половина каталога вдруг «исчезла».
Выгрузка куда удобно
Excel, CSV, Google Таблица, база данных или загрузка сразу в 1С и на ваш сайт.
Устойчивость к правкам источника
Поломка разметки на чужом сайте видна сразу, а не через неделю по жалобе менеджера.
Калькулятор
Парсер сайтов — расчёт стоимости
Отраслевые модули уже отмечены. Уберите лишнее или добавьте нужное — сумма в счёте будет та же, что в смете.
Выберите пакет
Добавьте нужное
Ваша смета
- Пакет «Спутник»14 900 ₽
- Поиск официального фида или API7 900 ₽
- Парсер сайта · 1 сайт19 900 ₽
- Уведомления в Telegram4 900 ₽
Стоимость работ
0 ₽
Срок: 1 неделя
Счёт сейчас: 47 600 ₽ — 100%, сумма до 50 000 ₽
Без регистрации. Счёт и анкета придут на почту сразу. Гарантия 3 месяца после запуска.
Какой способ получения данных выбираем
Разбор страниц — последний вариант, а не первый. Чем стабильнее источник, тем дешевле поддержка.
| Что есть у источника | Как получаем данные | Надёжность |
|---|---|---|
| YML или XML-фид для партнёров | Читаем фид по расписанию | Высокая: формат меняется редко |
| Открытый API | Запросы с ключом по документации | Высокая, но есть лимиты запросов |
| Только страницы каталога | Разбор HTML с паузами между запросами | Средняя: зависит от вёрстки |
| Каталог подгружается скриптом | Читаем те же открытые запросы, что делает браузер | Средняя |
| Прайс в Excel приходит на почту | Забираем вложение и разбираем файл | Высокая, пока не меняют шаблон |
На чём обычно ломаются самодельные парсеры
Нет проверки полноты
Источник отдал половину страниц из-за таймаута, а скрипт честно записал половину каталога и обнулил остатки остальных товаров.
Жёсткая привязка к вёрстке
Селекторы вида «третий блок во втором столбце» ломаются от любой правки дизайна. Мы опираемся на устойчивые признаки: микроразметку, атрибуты, структуру данных.
Слишком частые запросы
Сотни обращений в секунду нагружают чужой сервер и заканчиваются блокировкой. Медленный и вежливый сбор работает годами.
Данные без очистки
Цена «1 299,00 руб.» в одном месте и «1299» в другом — сравнить их без нормализации невозможно, а ошибки всплывают уже в отчёте.
Пример: оптовик сантехники сверяет каталоги трёх поставщиков
Пакет «Спутник» (14 900 ₽) + парсер на 3 сайта (59 700 ₽) + нормализация данных (14 900 ₽) + сопоставление с каталогом (24 900 ₽). Итог — около 114 400 ₽ разово и 990 ₽ в месяц за сервер, срок около двух недель. Менеджер получает утром таблицу, где рядом с каждым своим артикулом стоит наличие у поставщиков, и больше не открывает три сайта вручную.
Собрать свой вариантВопросы и ответы
Что спрашивают про парсинг
Сайт поставщика закрыт паролем партнёра — это можно собрать?
Если у вас есть легальный партнёрский доступ и договор не запрещает автоматическую выгрузку, скрипт может работать под вашей учётной записью. Обходить капчу, блокировки и чужие ограничения доступа не будем.
Что будет, если на сайте поменяют дизайн?
Парсер заметит, что поля перестали находиться, и пришлёт уведомление. Правка разбора обычно занимает час-два и входит в сопровождение.
Можно ли забирать фотографии товаров?
Технически да, но фотографии охраняются авторским правом. Размещать их у себя можно только с разрешения правообладателя — часто поставщик даёт его в дилерском договоре. Без разрешения сохраняем только ссылки и текстовые характеристики.
Сколько выйдет, если источников двадцать?
Опция «Парсер сайта» считается за каждый источник. При десятке сайтов и больше удобнее пакет «Галактика» с веб-панелью: в нём проще следить за всеми сборщиками сразу.
Не заблокирует ли источник наш сервер?
Мы ходим медленно, как аккуратный посетитель: паузы между запросами, сбор ночью, без параллельного шквала обращений. Если владелец сайта явно запрещает автоматический сбор, ищем другой путь — фид, API или договорённость.
Смотрите также
Похожие решения
Спросите что угодно о заказе: сколько будет стоить ваш проект, что входит в пакет, как платить, какие документы получите.