Какие роботы OpenAI приходят на сайт, что разрешить в robots.txt, почему доступ может закрыть CDN и как самому проверить, видит ли ChatGPT ваши страницы.
ChatGPT называет компании двумя способами: по памяти модели и через поиск по интернету со ссылками на источники. Повлиять в разумные сроки можно на второй способ, и начинается он с того, пускает ли сайт нужного робота OpenAI.
В этой статье только то, что относится именно к ChatGPT: роботы, настройки доступа, проверка и отличия от Алисы AI и Google. О том, как в целом сделать бренд заметным для нейросетей (контент, сущности, внешние упоминания), мы написали отдельно в статье «Как попасть в ответы нейросетей».
Когда пользователь спрашивает, какую компанию выбрать, ChatGPT может ответить из того, что модель запомнила при обучении, или выполнить поиск в интернете и собрать ответ из найденных страниц. Во втором случае под ответом появляются ссылки на источники.
| Ответ по памяти модели | Ответ через поиск ChatGPT | |
|---|---|---|
| Откуда данные | Тексты, на которых обучалась модель | Страницы, найденные в момент запроса |
| Какой робот собирает | GPTBot | OAI-SearchBot (а также сторонние поисковые партнёры OpenAI) |
| Есть ли ссылка на сайт | Обычно нет | Да, в списке источников |
| Как быстро меняется | Только с выходом новой модели | По мере переобхода страниц |
Практический вывод: чтобы сайт появлялся в ответах ChatGPT со ссылкой, он должен быть доступен для поиска ChatGPT. Разрешать использовать свои тексты для обучения моделей для этого не обязательно, это отдельное решение.
OpenAI публикует список своих роботов в документации для разработчиков. У каждого своя задача, и в robots.txt ими управляют по отдельности.
| Робот | Зачем приходит | Влияет на поиск ChatGPT |
|---|---|---|
OAI-SearchBot | Собирает страницы для поиска ChatGPT | Да. Сайты, закрытые от него, не показываются в ответах поиска |
GPTBot | Собирает тексты, которые могут использоваться для обучения моделей | Нет |
ChatGPT-User | Открывает страницу, когда об этом попросил пользователь (например, дал ссылку в чате) | Нет. OpenAI предупреждает, что для таких запросов robots.txt может не применяться |
OAI-AdsBot | Проверяет страницы, на которые ведёт реклама в ChatGPT | Нет, приходит только на рекламные посадочные страницы |
По данным OpenAI, после изменения robots.txt их системам нужно около 24 часов, чтобы учесть новые правила для OAI-SearchBot.
Если в robots.txt нет отдельных правил для роботов OpenAI, они подчиняются общему блоку User-agent: *. Например, у нас на findena.ru файл такой, и он пропускает всех:
User-agent: *
Disallow:
Sitemap: https://findena.ru/sitemap.xml
Если вы хотите попадать в поиск ChatGPT, но не отдавать тексты для обучения, пропишите роботов отдельно:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
Самая частая ошибка — обратная ситуация: закрыть «всех AI-ботов» одним списком, скопированным из интернета, и вместе с GPTBot случайно закрыть OAI-SearchBot. После этого сайт перестаёт появляться в ответах поиска ChatGPT, хотя в Яндексе и Google с ним всё в порядке.
robots.txt — это просьба к роботу. Но между роботом и сайтом часто стоит CDN или защита от ботов, и она может отказать в доступе раньше, чем робот вообще прочитает robots.txt.
Мы проверили это на собственном сайте. Сайт работает через Cloudflare, robots.txt разрешает всё. 29 сентября 2026 года мы запросили статью с разными user-agent роботов OpenAI:
| User-agent в запросе | Ответ сервера |
|---|---|
OAI-SearchBot | 200 — страница отдаётся |
ChatGPT-User | 200 — страница отдаётся |
GPTBot | 403 — доступ запрещён |
То есть робота для обучения отсекает Cloudflare, несмотря на разрешающий robots.txt, а поисковый робот ChatGPT проходит. Для нас такой результат подходит, но на другом сайте правила защиты могут быть настроены иначе и закрыть в том числе OAI-SearchBot. Поэтому смотрите не только в robots.txt, но и в настройки CDN и хостинга: разделы о ботах, AI-краулерах и правилах файрвола.
Повторить проверку можно одной командой в терминале:
curl -s -o /dev/null -w "%{http_code}\n" \
-A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
https://ваш-сайт.ru/
Ответ 200 значит, что правила по user-agent робота не блокируют. 403 или страница с капчей значат, что блокируют. Учтите, что так проверяются только правила по user-agent: настоящий робот приходит с IP-адресов OpenAI (их список опубликован в searchbot.json), и защита может обращаться с ним иначе, чем с вашим запросом.
OAI-SearchBot и User-agent: *. Если поисковый робот ChatGPT попадает под Disallow: /, дальше можно не проверять — сначала исправьте это.200.OAI-SearchBot. Если сайт за Cloudflare, заблокированные запросы видны в журнале событий безопасности. Если визитов нет вообще, возможно, робот ещё не находил ссылок на сайт.utm_source=chatgpt.com. В Яндекс Метрике её видно в отчёте «Источники → Метки UTM», в Google Analytics — в отчёте по источникам трафика.Если по всем шагам доступ открыт, а ChatGPT всё равно ссылается на других, дело уже не в технике, а в содержании: насколько полно и убедительно ваш сайт и внешние источники отвечают на вопрос. Об этом — в статье «Как попасть в ответы нейросетей».
На какие сайты ChatGPT на самом деле ссылается в ответах о SEO и GEO, мы проверили на 12 запросах — результаты в статье «Откуда ChatGPT берёт источники».
Для русскоязычного бизнеса важны три системы, и устроены они по-разному.
| ChatGPT | Алиса AI (на моделях YandexGPT) | Google AI Overviews | |
|---|---|---|---|
| Где отвечает | В чате ChatGPT | Над выдачей Яндекса и в приложении Алисы | Над выдачей Google |
| Откуда берёт источники | Поиск ChatGPT: собственный индекс и поисковые партнёры | В основном страницы из верхней части выдачи Яндекса | Индекс Google |
| Робот | OAI-SearchBot | YandexAdditional, YandexAdditionalBot | Обычный Googlebot |
| Как отказаться | Закрыть OAI-SearchBot в robots.txt | Закрыть YandexAdditional и YandexAdditionalBot в robots.txt | Только ограничением сниппетов (nosnippet); запрет Google-Extended на AI Overviews не влияет |
| Статистика для владельца сайта | Отдельного кабинета нет; переходы видны по метке utm_source=chatgpt.com | Яндекс Вебмастер → «Эффективность» → «Видимость сайта в Алисе AI» | Входит в общую статистику поиска в Search Console |
Главное различие: Алиса AI и AI Overviews опираются на обычную поисковую выдачу своих систем, поэтому для них классическое SEO в Яндексе и Google — почти всё. У ChatGPT свой поиск, поэтому сайт может хорошо стоять в Яндексе и при этом не попадать в ChatGPT — например, из-за закрытого OAI-SearchBot.
Прежде чем обсуждать контент под ChatGPT, стоит проверить доступ. На собственном сайте мы увидели, что CDN отсекает часть роботов OpenAI, хотя robots.txt разрешает всё, — и владелец сайта может об этом просто не знать. У нас закрыт только робот для обучения, но те же настройки защиты при другой конфигурации могут закрыть и поискового робота.
Когда доступ в порядке, дальше работает то же, что и для других нейросетей: понятные страницы, собственные данные и упоминания в источниках, которым доверяют.
Нет. За поиск ChatGPT отвечает OAI-SearchBot, а GPTBot собирает тексты для обучения моделей. Можно разрешить первого и запретить второго — это две независимые настройки.
По данным OpenAI, около 24 часов, чтобы учесть новые правила. Но это только снятие запрета: чтобы страницы появились в ответах, робот должен их обойти, а ChatGPT — выбрать их как подходящий источник.
Ссылки из ответов ChatGPT приходят с меткой utm_source=chatgpt.com. Откройте отчёт «Источники → Метки UTM» и найдите это значение. Часть переходов также видна как переходы с сайта chatgpt.com.
Нет. Кабинета для владельцев сайтов, куда можно добавить сайт или отправить страницы на переобход, у ChatGPT нет. Всё, что можно сделать, — открыть доступ роботу и дать ему найти страницы по ссылкам.
Скорее всего, ответ взят из памяти модели или из других сайтов, где компания упоминается. Проверьте, открыт ли сайт для OAI-SearchBot, и есть ли на нём страница, которая прямо отвечает на заданный вопрос.
OpenAI не заявляла, что поиск ChatGPT использует llms.txt. Файл не вредит и может пригодиться другим инструментам, но рассчитывать на него как на способ попасть в ChatGPT не стоит.
Попасть в ответы ChatGPT со ссылкой на сайт можно только через поиск ChatGPT, а поиск начинается с доступа для OAI-SearchBot. Проверьте robots.txt, ответ сервера для этого робота и настройки CDN, затем задайте ChatGPT вопрос, на который отвечает только ваша страница, и посмотрите источники. Если доступ в порядке, а ссылок нет, переходите к содержанию — об этом статья о GEO-продвижении в нейросетях и наша услуга GEO-продвижения.
Проверим текущую видимость компании в нейросетях и предложим, с чего начать GEO-продвижение.