BenchwellBot
Если вы видите BenchwellBot в логах, кто-то запустил бесплатный скан вашего сайта в Benchwell. Скан проверяет, что ИИ-ассистенты и агенты могут открыть, прочитать и найти на ваших публичных страницах.
Что он запрашивает
- Только публичные страницы: главную,
robots.txt, карту сайта,llms.txtи несколько стандартных файлов для ИИ-агентов, например описание OpenAPI или адрес MCP. - Не больше шести страниц вместе с главной: те, что важны клиентам, — цены, документацию, условия, контакты.
- Несколько десятков запросов за скан, по нескольку за раз. Без входа в аккаунты, без форм и покупок.
- Чтобы увидеть, что получает краулер ИИ-ассистента, мы отправляем на главную по одному запросу с User-Agent шести таких краулеров. Эти запросы идут с нашего адреса, а не от ассистента.
- Наш агент также открывает страницы в обычном браузере, чтобы увидеть то, что видит человек и агент с браузером.
User-Agent
Mozilla/5.0 (compatible; BenchwellBot/1.0; +https://benchwell.dev/bot)
Вопросы или просьба не сканировать
Напишите на hello@benchwell.dev и укажите домен.