ЖИ боттарына арналған robots.txt: GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot және басқалар
Мазмұны
robots.txt файлы сайт беттеріне автоматты краулерлердің қолжетімділігін басқарудың басты құралы қызметін атқарады. Генеративті жүйелердің пайда болуымен жасанды интеллект әзірлеушілері өз роботтарын екі санатқа бөлді: нақты уақыт режимінде іздеуді индекстейтін боттар және нейрожелілерді алдын ала оқыту үшін деректер жинайтын боттар. Файлды дұрыс баптау компанияға авторлық материалдардың пайдаланылуын бақылауда ұстай отырып, диалогтік жүйелерден келушілерді тартуға мүмкіндік береді.
Бұл практикалық нұсқаулықта біз жетекші технологиялық компаниялардың өзекті роботтарының тізімін егжей-тегжейлі талдаймыз, файл конфигурациясының дайын үш нұсқасын қарастырамыз және бизнестің көрінуін бұғаттайтын жиі кездесетін қателерді көрсетеміз.
ЖИ боттарына қолжетімділік не үшін қажет және оқыту мен іздеу арасындағы айырмашылық неде
Сервер конфигурациясы бойынша салмақты шешімдер қабылдау үшін бизнеске әртүрлі боттардың міндеттері арасындағы функционалдық айырмашылықты түсіну қажет. Жасанды интеллект зертханалары атынан сайтқа кіретін краулерлер түбегейлі екі түрлі мақсатты көздейді.
Бірінші мақсат: нақты уақыт режимінде ақпаратты жедел іздеу. OAI-SearchBot немесе PerplexityBot сияқты боттар дәстүрлі іздеу жүйелері сияқты веб-беттерді шарлайды. Олар мәтінді жүктеп алып, өзекті ұсыныстарды талдайды және бастапқы дереккөздерге басылатын белсенді сілтемелері бар пайдаланушыларға арналған жауаптарды қалыптастырады. Іздеу роботтарына қолжетімділік беру компанияның органикалық трафикке және диалогтардан тікелей өтулерге қол жеткізуіне тікелей әсер етеді.
Екінші мақсат: ауқымды оқыту деректер жиындарын жинау. GPTBot, ClaudeBot немесе CCBot сияқты роботтар негізгі тілдік модельдердің келесі буындарын соның негізінде оқыту үшін контентті жүктеп алады. Бұл деректер нейрожелінің сандық салмақтарында еріп кетеді, генерация кезінде тікелей сілтемемен бірге берілмейді және сайтқа жылдам өтулер әкелмейді.
Оқыту краулерлері үшін контентті ашу немесе жабу туралы шешім әрбір сайт иесінің стратегиялық бизнес-шешімі болып табылады. Мұнда ешқандай қысым болуы мүмкін емес: егер Сіз авторлық мақалаларды, құжаттаманы немесе аналитиканы жабық зияткерлік меншік деп санасаңыз, іздеу агенттеріне ғана жасыл жарық қалдырып, оқыту жинақтаушыларына қолжетімділікті шектеуге толық құқығыңыз бар.
ЖИ боттары мен іздеу краулерлерінің толық кестесі
Төмендегі кестеде расталған краулерлер, оларды әзірлеушілер, мақсаты және Disallow директивасы арқылы кіруге тыйым салудың салдарлары жинақталған.
| Краулер (User-agent) | Әзірлеуші | Боттың мақсаты | Бұғаттау кезінде не болады |
|---|---|---|---|
| OAI-SearchBot | OpenAI | ChatGPT search іздеуі үшін индекстеу | Сайт ChatGPT жауаптарында сілтемелермен бірге пайда болмайды |
| GPTBot | OpenAI | GPT модельдерін оқыту үшін деректер жинау | Контент OpenAI-дің оқыту деректер жиындарына түспейді |
| ChatGPT-User | OpenAI | Пайдаланушы ұсынған нақты сілтеме бойынша өту | Модель адамның өтініші бойынша бетті аша алмайды |
| Claude-SearchBot | Anthropic | Anthropic сервистеріне арналған іздеу айналымы | Сайт Claude іздеу жауаптарынан жоғалады |
| ClaudeBot | Anthropic | Claude модельдері үшін оқыту деректерін жинау | Мәтіндер Anthropic-тің оқыту таңдамаларына енбейді |
| Claude-User | Anthropic | Чаттағы тікелей сұраныс бойынша мекенжайды жүктеу | Сілтеме жіберілген кезде модель қолжетімділік қатесін көрсетеді |
| PerplexityBot | Perplexity | Perplexity іздеу жүйесі үшін индекстеу | Сайт Perplexity жауаптарында дәйексөз ретінде келтірілуін тоқтатады |
| Perplexity-User | Perplexity | Пайдаланушының сұранысы бойынша бетті тексеру | Сервис көрсетілген URL мекенжайын талдай алмайды |
| Googlebot | Іздеу және AI Overviews негізгі роботы | Сайт Google іздеуінен және AI Overviews блоктарынан шығып қалады | |
| Google-Extended | Gemini модельдерін оқыту үшін деректер жинау | Деректер Gemini үшін алынбайды, Google іздеуі зардап шекпейді | |
| Bingbot | Microsoft | Bing және Copilot іздеуін индекстеу | Сайт Bing және Copilot нәтижелерінде өз орындарын жоғалтады |
| Applebot-Extended | Apple | Apple ЖИ-ін оқыту үшін контент жинау | Деректер Apple-дің оқыту алгоритмдерінен шығарылады |
| CCBot | Common Crawl | Интернеттің ашық мұрағатын қалыптастыру | Мәтіндер жалпыға қолжетімді оқыту мұрағатына түспейді |
| YandexBot | Яндекс | Яндекс іздеуі үшін індекстеу | Беттер Яндекс іздеу жүйесінен шығып қалады |
robots.txt баптаудың дайын үш сценарийі
Компанияның генеративті контентке қатысты ұстанымына байланысты Сіз үш үлгілік конфигурацияның бірін таңдай аласыз.
1-сценарий: Сайтты барлық іздеу жүйелері мен нейрожелілер үшін толығымен ашу
Бұл нұсқа өз тауарлары, қызметтері және бренді туралы ақпаратты барлық цифрлық орталарда ешбір шектеусіз барынша кең таратуға мүдделі компанияларға қолайлы.
User-agent: *
Allow: /
Sitemap: https://yourdomain.com/sitemap.xml
Бұл конфигурацияда кез келген адал ниетті роботтар (оның ішінде Googlebot, YandexBot, OAI-SearchBot және оқыту краулерлері) сайттың ашық бөлімдеріне шектеусіз қол жеткізе алады.
2-сценарий: Іздеуге рұқсат беру, бірақ оқыту үшін деректер жинауды жабу
Сервистік компаниялар, контенттік медиа және сараптамалық блогтар үшін оңтайлы шешім. Сіз барлық іздеу жүйелерінде толыққанды қатысуды сақтап, ChatGPT search пен Perplexity-ден басылатын сілтемелер арқылы өтулерді аласыз, бірақ авторлық мәтіндеріңізді оқыту мұрағаттарына бермейсіз.
User-agent: *
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: Applebot-Extended
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
Sitemap: https://yourdomain.com/sitemap.xml
Мұндай жазба кезінде оқыту роботтары бұғатталады, ал нақты уақыт режимінде сілтемелер қалыптастыратын краулерлер сайтты сканерлеуді жалғастыра береді.
3-сценарий: Сайтты мамандандырылған ЖИ жүйелерінен толығымен жабу
Егер бизнес контентті тәуелсіз жасанды интеллект зертханаларының экожүйелерінен толығымен шығарып, тек классикалық Google және Яндекс іздеу жүйелерінде ғана қалуды ұйғарса:
User-agent: *
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Disallow: /
User-agent: ChatGPT-User
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Claude-SearchBot
Disallow: /
User-agent: Claude-User
Disallow: /
User-agent: PerplexityBot
Disallow: /
User-agent: Perplexity-User
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: Applebot-Extended
Disallow: /
Sitemap: https://yourdomain.com/sitemap.xml
Назар аударыңыз: мұндай баптау кезінде ChatGPT және Perplexity пайдаланушылары, тіпті диалогте іздеу қосулы болса да, Сіздің ресурсыңызға апаратын сілтемелерді көрмейді.
robots.txt шектеулері мен техникалық ерекшеліктері
robots.txt файлын әкімшілендіру кезінде оның іргелі қасиеттерін есте сақтау қажет:
- robots.txt файлы бағдарламалық қабырға емес, жария келісім мен өтініш болып табылады. Ірі корпорациялардың адал ниетті роботтары бұл ережелерді қатаң сақтайды. Дегенмен, күмәнді скрипттер, спам-парсерлер және заңсыз дерекқор жинақтаушылары файлды толығымен елемеуі мүмкін. Егер бетті бөгде көздерден физикалық түрде қорғау қажет болса, құпия сөз арқылы міндетті авторизацияны, қолжетімділік токендерін немесе IP-мекенжайлар бойынша шектеуді қолданыңыз.
- Өзгерістердің күшіне енуі уақытты талап етеді. Іздеу краулерлері әрбір жеке URL алдында қайта сұрамау үшін robots.txt файлының көшірмесін кэштеп алады. OpenAI компаниясының ресми деректері бойынша, жаңа файл нұсқасы серверге жүктелгеннен кейін компания краулерлеріне жергілікті кэшті жаңарту және жаңартылған директиваларды қолдану үшін шамамен 24 сағат қажет.
Файлды баптау кезіндегі жиі кездесетін қателер
Тәжірибе көрсеткендей, сайтты нейрожелі роботтарының индекстеуіне қатысты мәселелер көбіне ұсақ техникалық кемшіліктерден туындайды:
- Байқаусызда толық бұғаттау. User-agent: * жалпы бөліміндегі Disallow: / директивасы бүкіл ресурсты әлемдегі барлық іздеу жүйелерінен толық жабады. Мұндай қате үлгілерді көшірген кезде жиі кездеседі.
- Бет құрылымына қажетті қызметтік файлдарды бұғаттау. Егер файлда CSS стиль файлдары мен JavaScript скрипттері орналасқан бумаларға апаратын жолдар жабылған болса, заманауи іздеу жүйелерінің краулерлері бетті дұрыс көрсете алмайды және оның нақты мазмұнын түсіне алмайды.
- Тест серверінің (staging) ұмыт қалған баптаулары. Сайтты тест доменінен жұмыс доменіне көшірген кезде вебмастерлер robots.txt файлын жаңартуды жиі ұмытады. Соның салдарынан жұмыс істеп тұрған сайт бірнеше апта немесе ай бойы сканерлеуге жабық қалады.
- Краулерлерді WAF фаерволы немесе Cloudflare деңгейінде бұғаттау. robots.txt файлы мінсіз бапталғанымен, DDoS шабуылдарынан қорғау жүйесі немесе хостингтің веб-фаерволы OAI-SearchBot не PerplexityBot жіберетін жиі сұрауларды зиянды әрекет деп қабылдап, 403 кодымен желілік байланысты үзуі мүмкін. Сервер журналдарын тексеріп, сенімді боттарды қорғаныс жүйесінің ақ тізімдеріне енгізу қажет.
Жиі қойылатын сұрақтар
Егер GPTBot-ты жапса, сайт ChatGPT іздеуінде көрсетілуін тоқтата ма?
Жоқ, GPTBot-ты жабу тек материалдарыңызды OpenAI-дің болашақ модельдерін оқыту үшін пайдалануға ғана әсер етеді. ChatGPT диалогтарында іздеу жүргізумен және сілтемелерді қалыптастырумен жеке OAI-SearchBot роботы айналысады. Егер OAI-SearchBot ашық болса, сайт дәйексөз келтірілген жауаптарға ену мүмкіндігін сақтайды.
Бұрын бұғатталған бөлім ашылғанда роботтар қаншалықты жылдам әрекет етеді?
Мерзімі краулердің сайтқа келу жиілігіне байланысты. robots.txt файлындағы тыйым алынып тасталғаннан кейін OpenAI краулерлеріне нұсқауларды жаңарту үшін шамамен 24 сағат қажет, содан соң робот іздеу индексін айналып өтудің жалпы кезегіне сәйкес беттерді сканерлеуге қайта оралады.
Әдепкі бойынша бәрі ашық болса, Allow директиваларын көрсету міндетті ме?
Роботтарға арналған ерекшеліктер стандартында Disallow директивасымен нақты тыйым салынбаған барлық жолдар рұқсат етілген болып саналады. Дегенмен, нақты іздеу агенттері үшін Allow: / директивасын тікелей көрсету бөлек ішкі каталогтарға күрделі тыйымдар болған жағдайда түсініспеушіліктердің алдын алуға көмектеседі.
Тыйым салынғандар тізімінде CCBot агенті не үшін қажет?
CCBot краулері ашық веб-кеңістіктің алып мұрағаттарын үнемі жинап отыратын Common Crawl коммерциялық емес ұйымына тиесілі. Бұл мұрағаттар ашық және көптеген зерттеу топтары мен компаниялар оларды өз жүйелерін оқыту үшін пайдаланады. CCBot-ты бұғаттау беттердің осы ашық деректер жиындарына жаппай енуіне жол бермейді.
robots.txt сайтты мәтіндерді рұқсатсыз көшіруден жасыруға көмектесе ме?
Жоқ, бұл файл жосықсыз парсингтен қорғауға арналмаған. Кез келген үшінші тарап әзірлеушісі өз скриптін robots.txt хаттамасын сақтамай-ақ баптай алады. Коммерциялық құпия мен құпия ақпаратты сенімді қорғау үшін тек пайдаланушыларды міндетті түрде авторизациялайтын жабық контурлар қолданылады.
