Если в поиске Google вы видели страницы без описания или со странной подписью «Описание недоступно из-за ограничений в файле robots.txt» — это не баг Google. 
В большинстве случаев сайт сам создаёт эту проблему.

Эта статья  короткий heads-up для владельцев сайтов и маркетологов: что проверить и почему это реально влияет на трафик.

---

Ключевой факт

robots.txt не управляет индексацией. Он управляет сканированием.

• Disallow = «Google, не заходи»
• noindex = «Google, не сохраняй страницу в поиске»

Если страница закрыта через Disallow, но на неё есть ссылки - Google может добавить URL в индекс, не видя содержимого страницы.

Результат - страница в поиске без текста и без доверия.

---

Как выглядит проблема в реальности

Типичный симптом:

• URL присутствует в поиске
• Заголовок есть
• Описания нет или оно выглядит обрезанным

Для пользователя это выглядит как:

«Сайт что-то скрывает или работает некорректно»

Для Google:

• низкий CTR
• слабое понимание страницы
• снижение доверия к группе URL

---

Почему это важно для бизнеса

Последствия всегда прикладные:

• снижение кликабельности (CTR)
• меньше переходов при тех же позициях
• ухудшение восприятия сайта и бренда
•  Google хуже понимает структуру ресурса

Важно:
страдают не только служебные страницы, но и соседние разделы сайта.

---

Типовые ошибки на популярных платформах

WordPress

Часто встречается в robots.txt:

Disallow: /search
Disallow: /tag
Disallow: /page

Причина почти всегда одна —
Disallow используется вместо noindex.

---

MODX

Типичные паттерны:

Disallow: /*?
Disallow: /assets/

Реальные последствия:

• блокируются фильтры и формы
• иногда CSS и JS-файлы
• Google видит URL, но не может корректно отрендерить страницу

---

Shopify

Особенность платформы:

• файл robots.txt частично управляется системой
• фильтры и параметры товаров могут индексироваться

---

Как понять, что проблема есть

Шаг 1. Проверка в поиске Google

Введите запрос:

site:вашдомен.ru

---

Шаг 2. Google Search Console

---

Шаг 3. Проверка robots.txt

Откройте файл:

https://вашдомен.ru/robots.txt

---

Как должно быть правильно

Если страница:

• не нужна в поиске,
• но доступна пользователю,

используется:

<meta name="robots" content="noindex, follow">

---

Чеклист: проверьте сайт за 10 минут

•  Есть ли в поиске страницы без описания
•  Есть ли в GSC страницы «проиндексированы, но заблокированы»
•  Используется ли Disallow вместо noindex
•  Понимаете ли вы назначение каждой строки в robots.txt

---

Если сомневаетесь — проверьте

robots.txt — небольшой файл,
но именно в нём часто накапливаются незаметные ошибки.

Иногда этого достаточно, чтобы понять,
почему Google видит сайт, но показывает его хуже, чем мог бы.

---

Итог

robots.txt — не инструмент SEO-магии,
а файл с высоким риском незаметных ошибок.