Как повторить
Бесплатно, на своём компьютере
- Установите библиотеку и Playwright (движок, который открывает страницы как браузер):
pip install scrapegraphai
playwright install- Поставьте Ollama и скачайте модель:
ollama pull llama3.2Модель весит несколько гигабайт, качать её нужно один раз. После этого модель работает без интернета, но страницы каталога скрипт по-прежнему загружает из сети.
- Создайте файл
extract_leads.py. В полеmodelуказана модель Ollama: если вы скачали другую, впишите её имя.model_tokensзадаёт, сколько текста модель принимает за раз, а"format": "json"просит её отвечать в JSON."headless": Falseпоказывает окно браузера во время работы,"verbose": Trueвыводит журнал шагов.
import json
from scrapegraphai.graphs import SmartScraperGraph
graph_config = {
"llm": {
"model": "ollama/llama3.2",
"model_tokens": 8192,
"format": "json",
},
"verbose": True,
"headless": False,
}
smart_scraper_graph = SmartScraperGraph(
prompt="Собери список компаний с этой страницы: название, сайт, email или ссылка на контактную форму",
source="https://адрес-каталога-компаний/",
config=graph_config,
)
result = smart_scraper_graph.run()
print(json.dumps(result, indent=4, ensure_ascii=False))- Запустите
python extract_leads.py. Первый запуск занимает больше времени: Ollama загружает модель в память. - Если у каталога несколько страниц, библиотека не будет переходить по ним сама. Выпишите адреса страниц вручную и передайте список в
SmartScraperMultiGraph. Автоматический обход всего каталога одним параметромtotal_pagesесть только в облачном API.
from scrapegraphai.graphs import SmartScraperMultiGraph
urls = [
"https://адрес-каталога/page/1",
"https://адрес-каталога/page/2",
"https://адрес-каталога/page/3",
]
graph = SmartScraperMultiGraph(
prompt="Собери список компаний: название, сайт, контакты",
source=urls,
config=graph_config,
)
result = graph.run()- Результат приходит как словарь Python или JSON. Чтобы сохранить таблицу, добавьте
import pandas as pd; pd.DataFrame(result["...ваше поле со списком..."]).to_csv("leads.csv").
Через Claude, платно (для сравнения: этот путь не использует локальный скрипт)
- Получите ключ API в личном кабинете ScrapeGraphAI. Там же один раз дают 500 бесплатных кредитов.
- Добавьте настройки в
claude_desktop_config.json(на macOS:~/Library/Application Support/Claude/claude_desktop_config.json):
{
"mcpServers": {
"scrapegraph-mcp": {
"command": "npx",
"args": ["mcp-remote@latest", "https://mcp.scrapegraphai.com/mcp", "--header", "X-API-Key:ВАШ_КЛЮЧ"]
}
}
}- Закройте Claude Desktop через Cmd+Q и откройте снова: если просто закрыть окно, настройки не подхватятся. В Settings → Developer у scrapegraph-mcp должен появиться статус running.
- Напишите в чате: «собери со страницы <ссылка> название компании, сайт и контакты через scrapegraph». Одна страница с извлечением данных стоит около 6 кредитов: 1 за разметку и 5 за извлечение в JSON. Бесплатных кредитов хватит примерно на 80 страниц.
Как проверить результат
Скрипт должен вернуть JSON с полями из запроса, а не пересказ текстом. Если появилась ошибка соединения с Ollama, выполните curl http://localhost:11434: нет ответа, значит Ollama не запущена. В Claude должен работать инструмент credits, он показывает остаток кредитов. Сверьте вручную 2–3 записи с исходной страницей: когда карточки стоят плотно, модель иногда путает соседние.
Как это устроено
Библиотека открывает страницу в браузере и передаёт её языковой модели, а модель достаёт данные по вашему описанию. Небольшие локальные модели вроде llama3.2 на сложной вёрстке путают поля чаще, чем платные модели OpenAI, Anthropic или Gemini. Библиотека работает и с ними, но тогда вы платите поставщику модели за токены (единицы текста, которые она обрабатывает). За соблюдение правил использования сайта, с которого вы собираете данные, отвечаете вы.
Ссылки
- ScrapeGraphAI на GitHub: код библиотеки и примеры, лицензия MIT.
- Документация: примеры с Ollama и описание MCP-сервера.
- Ollama: бесплатная программа для запуска моделей на своём компьютере.
- scrapegraph-mcp: сервер, через который Claude подключается к облаку ScrapeGraphAI.
- Тарифы облака: Starter 20 долларов в месяц за 10 000 кредитов, Growth 100, Pro 500 долларов в месяц, разовые пакеты кредитов от 5 долларов.
- Apify: платная альтернатива с готовыми скрейперами. Например, Contractor Leads Scraper в Apify Store стоит 8 долларов за 1000 найденных компаний.