English
Słownik · SEO

Robots.txt – co to jest i jak go poprawnie ustawić?

Definicja

Robots.txt to plik tekstowy w głównym katalogu strony, w którym mówisz robotom wyszukiwarek i botom AI, które części serwisu mogą odwiedzać. Steruje wchodzeniem robotów, a nie indeksowaniem stron.

Sebastian Baryś
Sebastian Baryś
26 października 2026 7 min czytania

Co to jest robots.txt?

Robots.txt to plik tekstowy, w którym mówisz robotom, które części strony mogą odwiedzać. Leży zawsze w głównym katalogu domeny, pod adresem domena.pl/robots.txt, i jest pierwszą rzeczą, jaką sprawdza większość robotów przed wejściem na stronę.

Według Google robots.txt służy głównie do tego, żeby roboty nie przeciążały strony żądaniami. Kluczowa rzecz, o której wiele osób nie wie: plik steruje wchodzeniem robotów na strony, a nie tym, czy strony trafią do indeksu. Google pisze wprost, że to nie jest sposób na ukrycie strony przed Google.

Składnia robots.txt

User-agent: *
Disallow: /koszyk/
Disallow: /szukaj?
Allow: /

User-agent: GPTBot
Disallow: /

Sitemap: https://www.sklep.pl/sitemap.xml

User-agent

którego robota dotyczy sekcja; * oznacza wszystkie

Disallow

ścieżka, której robot ma nie odwiedzać

Allow

wyjątek od blokady, np. jeden plik w zablokowanym katalogu

Sitemap

pełny adres mapy strony XML; może być w dowolnym miejscu pliku

Reguły dotyczą ścieżek i rozróżniają wielkość liter. Gdy dla robota pasuje kilka reguł, Google stosuje najbardziej szczegółową, czyli tę z najdłuższą ścieżką. Każda subdomena potrzebuje własnego pliku.

Blokada w robots.txt a noindex

Co robi

Disallow w robots.txt

robot nie pobiera strony

Noindex

robot pobiera stronę, ale nie dodaje jej do indeksu

Czy adres może być w Google

Disallow w robots.txt

tak, bez opisu, jeśli prowadzą do niego linki

Noindex

nie, po ponownym odwiedzeniu strony

Do czego służy

Disallow w robots.txt

ograniczenie ruchu robotów, sekcje bez wartości

Noindex

usunięcie strony z wyników wyszukiwania

Pułapka

Disallow w robots.txt

zablokowana strona z noindex: robot nie zobaczy znacznika

Noindex

nie oszczędza crawl budgetu, bo strona jest pobierana

Najczęstsza pomyłka to połączenie obu metod. Jeśli strona ma noindex, a jednocześnie jest zablokowana w robots.txt, Googlebot nie wejdzie na nią i nie zobaczy znacznika. Adres może więc zostać w wynikach. Żeby usunąć stronę z Google, najpierw pozwól robotom ją odwiedzić i zobaczyć noindex.

Pamiętaj też, że Google przestał obsługiwać regułę noindex wpisaną w robots.txt 1 września 2019 roku. Noindex działa tylko w tagu meta robots albo nagłówku HTTP.

Boty AI w robots.txt

Robots.txt pozwala też zdecydować, które boty AI mogą pobierać treści strony. OpenAI opisuje osobne boty do trenowania modeli (GPTBot) i do wyszukiwania w ChatGPT (OAI-SearchBot). Google ma token Google-Extended, który decyduje o wykorzystaniu treści do trenowania i ugruntowania modeli Gemini, ale nie wpływa na zwykłe wyniki wyszukiwania ani na AI Overviews.

Pełną listę botów, ich przeznaczenie i gotowe konfiguracje opisuję we wpisie o botach AI w robots.txt, a o blokadach po stronie Cloudflare w osobnym wpisie.

Najczęstsze błędy

  • Disallow: / na produkcji. Blokada z wersji testowej przeniesiona na działającą stronę wyłącza ją z wyszukiwarek.
  • Blokowanie CSS i JavaScriptu. Google renderuje strony jak przeglądarka. Bez tych plików może źle ocenić, jak strona wygląda i działa.
  • Blokada zamiast noindex. Robots.txt użyty do usuwania stron z wyników, co nie działa.
  • Odruchowa blokada wszystkich botów AI. Zablokowanie botów wyszukiwania AI może ograniczyć obecność marki w odpowiedziach ChatGPT czy Perplexity.

Jak sprawdzić robots.txt?

Najprościej otworzyć adres twojadomena.pl/robots.txt w przeglądarce. W Google Search Console raport robots.txt pokazuje, jaką wersję pliku pobrał Google i czy wystąpiły błędy. Narzędzie Sprawdzanie adresu URL powie, czy konkretna strona jest blokowana. Po każdej większej zmianie strony, zwłaszcza po wdrożeniu nowej wersji, warto zajrzeć do pliku jeszcze raz.

Sebastian Baryś

Komentarz Sebastiana – konsultanta SEO i AI

Sebastian Baryś · freelancer SEO i Google Ads

Robots.txt to jeden plik, w którym jedna linijka potrafi wyłączyć całą stronę z Google. Kilka razy widziałem sklepy, które po wdrożeniu nowej wersji zostawiły na produkcji Disallow: / z wersji testowej. Ruch z wyszukiwarki znikał, a wszyscy szukali przyczyny w algorytmie.

Druga częsta sprawa to boty AI. Wiele firm blokuje je odruchowo, a potem dziwi się, że ChatGPT czy Perplexity nie wspominają o nich w odpowiedziach. Moja rada: zdecyduj świadomie, które boty wpuszczasz, i sprawdź też ustawienia Cloudflare, bo blokada często siedzi tam, a nie w robots.txt.

Powiązane pojęcia

Jak Robots.txt łączy się z innymi pojęciami ze słownika:

FAQ – najczęstsze pytania

Co to jest plik robots.txt?

Robots.txt to plik tekstowy w głównym katalogu strony (domena.pl/robots.txt), w którym mówisz robotom wyszukiwarek, które części serwisu mogą odwiedzać, a których nie. Według Google służy głównie do tego, żeby roboty nie przeciążały strony zapytaniami.

Czy robots.txt usuwa stronę z Google?

Nie. Google pisze wprost, że robots.txt nie jest sposobem na ukrycie strony przed Google. Zablokowany adres może pojawić się w wynikach bez opisu, jeśli prowadzą do niego linki. Żeby usunąć stronę z wyników, użyj znacznika noindex albo zabezpiecz ją hasłem.

Czy w robots.txt można użyć noindex?

Nie w Google. Google przestał obsługiwać nieoficjalną regułę noindex w robots.txt 1 września 2019 roku. Noindex trzeba ustawić w tagu meta robots na stronie albo w nagłówku HTTP X-Robots-Tag.

Jak zablokować boty AI w robots.txt?

Dodaj osobne sekcje dla botów poszczególnych firm, np. User-agent: GPTBot (OpenAI) z regułą Disallow: /. Token Google-Extended pozwala zdecydować, czy treści mogą być używane do trenowania i ugruntowania modeli Gemini, bez wpływu na indeksowanie w wyszukiwarce Google. Każdy bot ma własną nazwę, więc listę trzeba aktualizować.

Gdzie powinien znajdować się plik robots.txt?

Zawsze w głównym katalogu domeny, pod adresem domena.pl/robots.txt. Plik w podkatalogu jest ignorowany. Każda subdomena, np. sklep.domena.pl, potrzebuje własnego pliku.

Czy każda strona potrzebuje robots.txt?

Nie jest obowiązkowy. Bez pliku roboty mogą odwiedzać całą stronę, co dla małej strony zwykle jest w porządku. Plik przydaje się, gdy chcesz zablokować sekcje bez wartości, np. wyniki wyszukiwania wewnętrznego, wskazać mapę strony albo zarządzać dostępem botów AI.

Porozmawiajmy

Nie masz pewności, czy robots.txt nie blokuje czegoś ważnego?

Sprawdzę robots.txt, meta robots, mapę strony i ustawienia botów AI, w tym Cloudflare, i powiem, co dokładnie widzi Googlebot i asystenci AI, a czego nie.

Sebastian Baryś

Sebastian Baryś

Odpowiadam osobiście, bez pośredników