Spis treści
Co to jest robots.txt?
Robots.txt to plik tekstowy, w którym mówisz robotom, które części strony mogą odwiedzać. Leży zawsze w głównym katalogu domeny, pod adresem domena.pl/robots.txt, i jest pierwszą rzeczą, jaką sprawdza większość robotów przed wejściem na stronę.
Według Google robots.txt służy głównie do tego, żeby roboty nie przeciążały strony żądaniami. Kluczowa rzecz, o której wiele osób nie wie: plik steruje wchodzeniem robotów na strony, a nie tym, czy strony trafią do indeksu. Google pisze wprost, że to nie jest sposób na ukrycie strony przed Google.
Składnia robots.txt
User-agent: *
Disallow: /koszyk/
Disallow: /szukaj?
Allow: /
User-agent: GPTBot
Disallow: /
Sitemap: https://www.sklep.pl/sitemap.xml User-agent
którego robota dotyczy sekcja; * oznacza wszystkie
Disallow
ścieżka, której robot ma nie odwiedzać
Allow
wyjątek od blokady, np. jeden plik w zablokowanym katalogu
Sitemap
pełny adres mapy strony XML; może być w dowolnym miejscu pliku
Reguły dotyczą ścieżek i rozróżniają wielkość liter. Gdy dla robota pasuje kilka reguł, Google stosuje najbardziej szczegółową, czyli tę z najdłuższą ścieżką. Każda subdomena potrzebuje własnego pliku.
Blokada w robots.txt a noindex
Disallow w robots.txt
blokuje wejście
Noindex
blokuje indeksowanie
Co robi
Disallow w robots.txt
robot nie pobiera strony
Noindex
robot pobiera stronę, ale nie dodaje jej do indeksu
Czy adres może być w Google
Disallow w robots.txt
tak, bez opisu, jeśli prowadzą do niego linki
Noindex
nie, po ponownym odwiedzeniu strony
Do czego służy
Disallow w robots.txt
ograniczenie ruchu robotów, sekcje bez wartości
Noindex
usunięcie strony z wyników wyszukiwania
Pułapka
Disallow w robots.txt
zablokowana strona z noindex: robot nie zobaczy znacznika
Noindex
nie oszczędza crawl budgetu, bo strona jest pobierana
Najczęstsza pomyłka to połączenie obu metod. Jeśli strona ma noindex, a jednocześnie jest zablokowana w robots.txt, Googlebot nie wejdzie na nią i nie zobaczy znacznika. Adres może więc zostać w wynikach. Żeby usunąć stronę z Google, najpierw pozwól robotom ją odwiedzić i zobaczyć noindex.
Pamiętaj też, że Google przestał obsługiwać regułę noindex wpisaną w robots.txt 1 września 2019 roku. Noindex działa tylko w tagu meta robots albo nagłówku HTTP.
Boty AI w robots.txt
Robots.txt pozwala też zdecydować, które boty AI mogą pobierać treści strony. OpenAI opisuje osobne boty do trenowania modeli (GPTBot) i do wyszukiwania w ChatGPT (OAI-SearchBot). Google ma token Google-Extended, który decyduje o wykorzystaniu treści do trenowania i ugruntowania modeli Gemini, ale nie wpływa na zwykłe wyniki wyszukiwania ani na AI Overviews.
Pełną listę botów, ich przeznaczenie i gotowe konfiguracje opisuję we wpisie o botach AI w robots.txt, a o blokadach po stronie Cloudflare w osobnym wpisie.
Najczęstsze błędy
- Disallow: / na produkcji. Blokada z wersji testowej przeniesiona na działającą stronę wyłącza ją z wyszukiwarek.
- Blokowanie CSS i JavaScriptu. Google renderuje strony jak przeglądarka. Bez tych plików może źle ocenić, jak strona wygląda i działa.
- Blokada zamiast noindex. Robots.txt użyty do usuwania stron z wyników, co nie działa.
- Odruchowa blokada wszystkich botów AI. Zablokowanie botów wyszukiwania AI może ograniczyć obecność marki w odpowiedziach ChatGPT czy Perplexity.
Jak sprawdzić robots.txt?
Najprościej otworzyć adres twojadomena.pl/robots.txt w przeglądarce. W Google Search Console raport robots.txt pokazuje, jaką wersję pliku pobrał Google i czy wystąpiły błędy. Narzędzie Sprawdzanie adresu URL powie, czy konkretna strona jest blokowana. Po każdej większej zmianie strony, zwłaszcza po wdrożeniu nowej wersji, warto zajrzeć do pliku jeszcze raz.
Komentarz Sebastiana – konsultanta SEO i AI
Sebastian Baryś · freelancer SEO i Google Ads
Robots.txt to jeden plik, w którym jedna linijka potrafi wyłączyć całą stronę z Google. Kilka razy widziałem sklepy, które po wdrożeniu nowej wersji zostawiły na produkcji Disallow: / z wersji testowej. Ruch z wyszukiwarki znikał, a wszyscy szukali przyczyny w algorytmie.
Druga częsta sprawa to boty AI. Wiele firm blokuje je odruchowo, a potem dziwi się, że ChatGPT czy Perplexity nie wspominają o nich w odpowiedziach. Moja rada: zdecyduj świadomie, które boty wpuszczasz, i sprawdź też ustawienia Cloudflare, bo blokada często siedzi tam, a nie w robots.txt.
Powiązane pojęcia
Jak Robots.txt łączy się z innymi pojęciami ze słownika:
- robots.txt steruje crawlowaniem, nie indeksowaniem
- robots.txt bywa mylony z noindex Noindex
- robots.txt blokuje lub wpuszcza boty AI (GPTBot, Google-Extended) Google-Extended Boty AI
- robots.txt wskazuje mapę strony XML Mapa strony XML
FAQ – najczęstsze pytania
Co to jest plik robots.txt?
Robots.txt to plik tekstowy w głównym katalogu strony (domena.pl/robots.txt), w którym mówisz robotom wyszukiwarek, które części serwisu mogą odwiedzać, a których nie. Według Google służy głównie do tego, żeby roboty nie przeciążały strony zapytaniami.
Czy robots.txt usuwa stronę z Google?
Nie. Google pisze wprost, że robots.txt nie jest sposobem na ukrycie strony przed Google. Zablokowany adres może pojawić się w wynikach bez opisu, jeśli prowadzą do niego linki. Żeby usunąć stronę z wyników, użyj znacznika noindex albo zabezpiecz ją hasłem.
Czy w robots.txt można użyć noindex?
Nie w Google. Google przestał obsługiwać nieoficjalną regułę noindex w robots.txt 1 września 2019 roku. Noindex trzeba ustawić w tagu meta robots na stronie albo w nagłówku HTTP X-Robots-Tag.
Jak zablokować boty AI w robots.txt?
Dodaj osobne sekcje dla botów poszczególnych firm, np. User-agent: GPTBot (OpenAI) z regułą Disallow: /. Token Google-Extended pozwala zdecydować, czy treści mogą być używane do trenowania i ugruntowania modeli Gemini, bez wpływu na indeksowanie w wyszukiwarce Google. Każdy bot ma własną nazwę, więc listę trzeba aktualizować.
Gdzie powinien znajdować się plik robots.txt?
Zawsze w głównym katalogu domeny, pod adresem domena.pl/robots.txt. Plik w podkatalogu jest ignorowany. Każda subdomena, np. sklep.domena.pl, potrzebuje własnego pliku.
Czy każda strona potrzebuje robots.txt?
Nie jest obowiązkowy. Bez pliku roboty mogą odwiedzać całą stronę, co dla małej strony zwykle jest w porządku. Plik przydaje się, gdy chcesz zablokować sekcje bez wartości, np. wyniki wyszukiwania wewnętrznego, wskazać mapę strony albo zarządzać dostępem botów AI.
Źródła
Nie masz pewności, czy robots.txt nie blokuje czegoś ważnego?
Sprawdzę robots.txt, meta robots, mapę strony i ustawienia botów AI, w tym Cloudflare, i powiem, co dokładnie widzi Googlebot i asystenci AI, a czego nie.
Sebastian Baryś
Odpowiadam osobiście, bez pośredników