Googlebot – jak działa robot Google i jak go kontrolować

Googlebot to robot wyszukiwarki Google, który odwiedza strony internetowe, pobiera ich zawartość i przekazuje ją do indeksowania. To od niego zależy, czy Google w ogóle dowie się o nowej stronie i jak szybko zobaczy zmiany na istniejącej. W tym tekście opisuję, jak działa Googlebot, jak sprawdzić jego wizyty i jak kontrolować jego dostęp.

Czym jest Googlebot

Pod nazwą Googlebot działają dwa główne roboty:

• **Googlebot Smartphone** – symuluje telefon i to on pobiera większość stron, bo Google indeksuje strony w wersji mobilnej,
• **Googlebot Desktop** – symuluje komputer, używany rzadziej.

Oprócz nich Google ma inne roboty, np. Googlebot-Image (grafika), Googlebot-Video, AdsBot (sprawdza strony docelowe reklam) czy Storebot (zakupy). Osobny token Google-Extended w pliku robots.txt pozwala zdecydować, czy treści strony mogą być używane do trenowania modeli Gemini – nie wpływa na wyniki wyszukiwania.

Jak roboty Google przetwarzają stronę

1. **Odkrycie adresu** – z linków na innych stronach, mapy witryny albo zgłoszenia w Search Console.
2. **Skanowanie (crawling)** – Googlebot sprawdza robots.txt i pobiera stronę.
3. **Renderowanie** – uruchamia JavaScript w aktualnej wersji przeglądarki Chromium, żeby zobaczyć stronę tak jak użytkownik.
4. **Indeksowanie** – Google analizuje treść i decyduje, czy zapisać stronę w indeksie.

Googlebot pobiera pierwsze 15 MB pliku HTML – na zwykłych stronach to więcej niż wystarczająco. Ogólnie o robotach pisałem w tekście o web crawlerach.

Jak sprawdzić aktywność Googlebota

• **Statystyki indeksowania** (Search Console → Ustawienia) – liczba żądań dziennie, czas odpowiedzi serwera, kody odpowiedzi, typy plików i rodzaj robota.
• **Sprawdzanie adresu URL** – kiedy robot ostatnio odwiedził stronę, czy mógł ją pobrać i jak ją wyrenderował.
• **Raport „Strony”** – które adresy są w indeksie, a które nie i dlaczego.
• **Logi serwera** – pełna lista wizyt.

Jak kontrolować dostęp Googlebota

• **robots.txt** – blokuje skanowanie wybranych sekcji. Nie usuwa strony z indeksu: zablokowany adres może się pojawić w wynikach bez opisu, jeśli prowadzą do niego linki.
• **meta robots noindex** – wyklucza stronę z wyników. Robot musi mieć dostęp do strony, żeby zobaczyć ten znacznik.
• **Hasło lub logowanie** – najpewniejszy sposób na ukrycie np. wersji testowej.
• **Narzędzie do usuwania adresów URL** w Search Console – szybkie, ale tymczasowe ukrycie strony.

Google nie obsługuje dyrektywy crawl-delay. Jeśli robot nadmiernie obciąża serwer, można tymczasowo odpowiadać kodem 503 lub 429 – Googlebot zwolni. Dłuższe stosowanie takich kodów grozi jednak wypadnięciem stron z indeksu.

Przykłady konfiguracji robots.txt

Dostęp dla wszystkich robotów, z mapą witryny:

User-agent: *
Disallow:

Sitemap: https://domena.pl/sitemap_index.xml

Typowa konfiguracja WordPressa – blokada panelu z wyjątkiem pliku potrzebnego do działania strony:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Blokada wyników wyszukiwania wewnętrznego:

User-agent: *
Disallow: /?s=

Nie blokuj plików CSS i JavaScript – bez nich Googlebot nie wyrenderuje strony poprawnie. Więcej przykładów i pułapek w tekście o zaawansowanej konfiguracji robots.txt.

Jak rozpoznać prawdziwego Googlebota

W logach wiele botów podaje się za Googlebota, choć nim nie jest. Prawdziwego można rozpoznać na dwa sposoby:

• odwrotne zapytanie DNS dla adresu IP zwraca domenę googlebot.com lub google.com, a zapytanie w drugą stronę zwraca ten sam adres IP,
• adres IP należy do zakresów publikowanych przez Google w dokumentacji dla deweloperów.

Uwaga przy konfiguracji zapory serwera: blokowanie „podejrzanych” botów po samej nazwie albo całych zakresów IP potrafi przypadkiem zablokować prawdziwego robota – wtedy strony zaczynają znikać z indeksu.

Jak ułatwić pracę Googlebotowi

• szybki serwer bez błędów 5xx,
• aktualna mapa witryny,
• linki wewnętrzne do wszystkich ważnych stron,
• jedna wersja adresu dla jednej treści,
• jak najmniej przekierowań i stron 404 w linkach wewnętrznych.

Szczegółową listę kontrolną znajdziesz w poradniku o optymalizacji SEO stron internetowych, a podstawy – w tekście o podstawach pozycjonowania stron internetowych.