№57

8 октября 2026

агенты · данные · инструменты · бизнес

Как собрать таблицу лидов с почтами из каталогов бизнеса с помощью агента и ScrapeGraphAI

Агент собирает таблицу компаний, владельцев и email из каталогов бизнеса под вашу нишу и город по расписанию.

3 мин чтения · бесплатно с Ollama · 1–2 ч, затем 10–15 мин

Где подвох
Готового обхода каталогов в библиотеке нет. Этот код пишет агент, а прокси и защиту от ботов настраиваете вы.

Как повторить

  1. Проверьте версию Python командой python3 --version. Нужна 3.12 или новее.
  2. Дайте агенту (подойдут Claude Code, Cursor или Codex) ссылку https://github.com/ScrapeGraphAI/Scrapegraph-ai и попросите: поставь ScrapeGraphAI в отдельное виртуальное окружение по README. Агент выполнит pip install scrapegraphai и playwright install. Вторая команда скачивает браузер для страниц с JavaScript, поэтому про Playwright лучше предупредить агента заранее. Анонимная телеметрия отключается переменной SCRAPEGRAPHAI_TELEMETRY_ENABLED=false.
  3. Выберите модель, которая будет вытаскивать данные со страниц:
  • Бесплатно: Ollama. Скачайте модель командой ollama pull llama3.2, в конфиге укажите "model": "ollama/llama3.2" и "model_tokens": 8192. Без последнего параметра модель получит длинную страницу обрезанной. Локальная модель работает медленнее и чаще ошибается на сложных страницах.
  • Точнее: ключ OpenAI или Gemini. Счёт растёт с числом страниц.
  • Облако ScrapeGraphAI: Free даёт 500 кредитов один раз, Starter стоит $20 в месяц за 10 000 кредитов, Growth $100 за 100 000. Загрузка страницы списывает 1 кредит, извлечение данных 5, режим обхода защиты ещё 5. На Starter одно извлечение обходится примерно в $0.01 за страницу, с обходом защиты дороже. Это дороже заявленных $0.004 за компанию у Apify. Цифра не проверена, реальная цена зависит от конкретного скрапера на Apify.
  1. Опишите задачу, например: «найди владельцев сантехнических компаний в Ванкувере и Калгари, собери company, owner, email в CSV». В библиотеке три блока: SearchGraph ищет в поисковике и разбирает первые результаты, SmartScraperGraph обрабатывает одну страницу, SmartScraperMultiGraph обрабатывает список адресов. Цикл «страницы каталога → сайты компаний → поля» агент пишет сам, и, скорее всего, понадобится несколько уточнений. Просите CSV: для записи в Google Sheets нужен отдельный доступ.
  2. Начните с 10 компаний и замерьте скорость и качество. Убедитесь, что агент построил цепочку «поиск → обход → извлечение» и не додумал структуру ответа по паре примеров. Прочитайте условия использования каталогов: многие запрещают автоматический сбор и блокируют ботов.
  3. Настройте расписание через cron (Linux, Mac) или Планировщик заданий (Windows), это можно поручить агенту. В момент запуска компьютер должен быть включён и не спать, поэтому надёжнее перенести скрипт на VPS (арендованный сервер). Сразу заложите удаление дублей по домену компании, иначе каждое утро в таблицу будут попадать те же строки.
  4. Перед рассылкой учтите: имя вместе с почтой относятся к персональным данным, а в Канаде (CASL) и ЕС (GDPR) правила строже, чем в США. Уточните правила своей страны и страны получателей.

Как проверить результат

Прогоните одну нишу и один город целиком. В хорошей таблице у каждой строки настоящий домен: сайт открывается, у домена есть MX-запись (запись почтового сервера), а имя руководителя совпадает с сайтом или карточкой в каталоге. Много одинаковых info@ и contact@ без имён означает, что модель угадывает адреса. Такую таблицу придётся чистить вручную.

Ссылки

  • ScrapeGraphAI/Scrapegraph-ai: сама библиотека, лицензия MIT, работает с Ollama, OpenAI, Groq, Azure и Gemini.
  • scrapegraphai на PyPI: пакет для установки через pip.
  • Ollama: запуск открытых моделей на своём компьютере, страница модели llama3.2.
  • Цены ScrapeGraphAI Cloud: тарифы облака и стоимость операций в кредитах.
  • scrapegraph-mcp: другой способ подключить ScrapeGraphAI к Claude или Cursor. Работает только через облако с API-ключом, тратит кредиты и не поддерживает Ollama.
  • Тарифы Apify: платная платформа готовых скраперов. Free даёт $5 на счёт в месяц, Starter стоит $19.

Источник: valya_denisov, Instagram Reels.

Больше подобного

Разбираю по находке в день и складываю сюда. Свежее и то, что до сайта не доехало, выходит в канале «Евдокимов как обычно».