Spis treści
Co to jest Googlebot?
Googlebot to robot (crawler) Google, który odwiedza strony internetowe i pobiera ich zawartość dla wyszukiwarki. To pierwszy krok, bez którego strona nie trafi do Google: najpierw musi zostać znaleziona i pobrana, dopiero potem może zostać zindeksowana i wyświetlona w wynikach.
Googlebot przechodzi po linkach z jednej strony na drugą i korzysta z map stron XML. Przed wejściem sprawdza plik robots.txt, w którym właściciel strony może zablokować dostęp do jej części.
Googlebot na smartfony i na komputer
Googlebot na smartfony
Symuluje użytkownika telefonu. Według Google w przypadku większości witryn to właśnie wersja mobilna jest indeksowana w pierwszej kolejności (mobile-first indexing).
Googlebot na komputer
Symuluje użytkownika komputera. Odwiedza strony rzadziej niż wersja mobilna.
Oba roboty używają tej samej nazwy w robots.txt, więc nie da się zablokować tylko jednego z nich. Google ma też osobne roboty, m.in. do grafik, filmów i wiadomości.
Jak działa Googlebot?
- Limit pobierania. Według dokumentacji Google przy skanowaniu dla wyszukiwarki Googlebot pobiera pierwsze 2 MB obsługiwanego pliku i pierwsze 64 MB pliku PDF. Każdy plik CSS czy JavaScript jest pobierany osobno z tym samym limitem.
- Renderowanie. Googlebot wykonuje JavaScript, ale treść widoczna dopiero po interakcji, np. kliknięciu, może pozostać dla niego niewidoczna (JavaScript SEO).
- Tempo. Według Google w większości witryn nie powinien wchodzić częściej niż średnio co kilka sekund. Gdy serwer nie nadąża, Google zwalnia.
- Priorytety. Na dużych stronach liczy się, co Googlebot odwiedza w pierwszej kolejności, czyli crawl budget.
Jak rozpoznać prawdziwego Googlebota?
Nazwę „Googlebot” w nagłówku żądania może wpisać każdy, dlatego podszywanie się pod niego jest częste. Google zaleca weryfikację przez odwrotne wyszukiwanie DNS: adres IP żądania powinien wskazywać na host w domenie googlebot.com, google.com lub googleusercontent.com, a wyszukanie tej nazwy hosta powinno zwrócić ten sam adres IP. Alternatywnie można porównać adres z zakresami IP publikowanymi przez Google.
Googlebot a boty AI
Googlebot
wyszukiwarka
Google-Extended
modele AI
Czym jest
Googlebot
robot, który skanuje strony dla wyszukiwarki Google
Google-Extended
token w robots.txt, a nie osobny robot
Na co wpływa
Googlebot
obecność strony w wynikach wyszukiwania, także w AI Overviews
Google-Extended
wykorzystanie treści do trenowania i ugruntowania modeli Gemini
Skutek blokady
Googlebot
strona znika z wyszukiwarki
Google-Extended
brak wpływu na wyniki wyszukiwania
AI Overviews i AI Mode korzystają z indeksu wyszukiwarki, który buduje Googlebot. Dlatego blokada Googlebota wyłącza stronę zarówno z wyników, jak i z odpowiedzi AI w Google. Google-Extended dotyczy tylko wykorzystania treści przez modele Gemini. Inne firmy mają własne roboty, opisane w haśle boty AI.
Jak sprawdzić wizyty Googlebota?
Statystyki indeksowania
Raport w ustawieniach Search Console: liczba żądań, odpowiedzi serwera, typy plików.
Sprawdzanie adresu URL
Kiedy Googlebot ostatnio odwiedził stronę i jak ją widzi po wyrenderowaniu.
Logi serwera
Najdokładniejsze dane o każdej wizycie, po weryfikacji, że to prawdziwy Googlebot.
Komentarz Sebastiana – konsultanta SEO i AI
Sebastian Baryś · freelancer SEO i Google Ads
Klienci często pytają, jak „zaprosić” Googlebota na nową stronę. Prawda jest mniej ekscytująca: Googlebot przychodzi tam, gdzie prowadzą linki i gdzie strona daje mu powód, by wracać. Dobra struktura, mapa strony i regularne aktualizacje ważnych podstron robią więcej niż ciągłe klikanie „Poproś o zindeksowanie”.
Druga sprawa to podszywanie się. W logach serwerów klientów regularnie widzę ruch podpisany jako Googlebot, który nie ma nic wspólnego z Google. Dlatego przed wyciąganiem wniosków z logów albo blokowaniem „Googlebota” w firewallu zawsze weryfikuję adresy IP.
Powiązane pojęcia
Jak Googlebot łączy się z innymi pojęciami ze słownika:
- Googlebot jest rodzajem crawlera
- Googlebot wykonuje crawling i renderowanie
- Googlebot różni się od Google-Extended (token do AI) Google-Extended
- Googlebot respektuje robots.txt Robots.txt
FAQ – najczęstsze pytania
Co to jest Googlebot?
Googlebot to robot internetowy (crawler) Google, który odwiedza strony, pobiera ich zawartość i przekazuje ją do indeksowania w wyszukiwarce. Tylko strony, które Googlebot może pobrać i które Google uzna za wartościowe, trafiają do wyników wyszukiwania.
Jak często Googlebot odwiedza stronę?
To zależy od strony: jej wielkości, częstotliwości zmian, popularności i szybkości serwera. Według Google w przypadku większości witryn Googlebot nie powinien wchodzić częściej niż średnio co kilka sekund. Ważne, często aktualizowane strony są odwiedzane częściej niż rzadko zmieniane podstrony.
Jak zablokować Googlebota?
Dostęp do części strony blokuje się w pliku robots.txt regułą dla User-agent: Googlebot. Pamiętaj jednak, że blokada skanowania nie usuwa strony z wyników. Do tego służy znacznik noindex, który Googlebot musi móc odczytać, więc strona nie może być wtedy zablokowana w robots.txt.
Jak sprawdzić, czy to prawdziwy Googlebot?
Nazwa robota w nagłówku żądania łatwo się podszywa. Google zaleca odwrotne wyszukiwanie DNS adresu IP żądania: prawdziwy Googlebot ma nazwę hosta w domenie googlebot.com, google.com lub googleusercontent.com, a ponowne wyszukiwanie tej nazwy musi zwrócić ten sam adres IP. Można też porównać IP z zakresami publikowanymi przez Google.
Ile danych pobiera Googlebot ze strony?
Według dokumentacji Google przy skanowaniu dla wyszukiwarki Googlebot pobiera pierwsze 2 MB obsługiwanego pliku i pierwsze 64 MB pliku PDF. Każdy zasób, np. plik CSS czy JavaScript, jest pobierany osobno z tym samym limitem. Treść poza limitem może nie zostać uwzględniona.
Czy zablokowanie Googlebota blokuje też AI Overviews?
Blokada Googlebota usuwa stronę z wyszukiwarki, a więc także ze źródeł AI Overviews i AI Mode, bo te funkcje korzystają z indeksu wyszukiwarki. Jeśli chcesz tylko wyłączyć wykorzystanie treści do trenowania modeli Gemini, służy do tego osobny token Google-Extended.
Źródła
Googlebot nie dociera do Twoich ważnych stron?
Sprawdzę, jak Googlebot porusza się po Twojej stronie: statystyki indeksowania, blokady, przekierowania, szybkość serwera i strukturę linków, i wskażę, co blokuje skanowanie.
Sebastian Baryś
Odpowiadam osobiście, bez pośredników