Web crawler, nazywany też robotem, pająkiem lub botem, to program, który automatycznie przegląda strony internetowe: pobiera ich zawartość i podąża za linkami do kolejnych adresów. Bez crawlerów wyszukiwarki nie wiedziałyby, jakie strony istnieją. Podobnych programów używają też narzędzia SEO, które sprawdzają stronę tak, jak widzi ją wyszukiwarka.
Jak działa crawling
- **Lista adresów do odwiedzenia** – crawler zaczyna od znanych mu adresów: z wcześniejszych wizyt, map witryn i linków.
- **Pobranie strony** – przed wizytą sprawdza plik robots.txt, a potem pobiera kod HTML strony.
- **Renderowanie** – roboty dużych wyszukiwarek uruchamiają też JavaScript, żeby zobaczyć stronę tak jak przeglądarka.
- **Wyszukanie linków** – nowe adresy trafiają do kolejki.
- **Powtórne wizyty** – ważne i często zmieniane strony robot odwiedza częściej, rzadko aktualizowane – rzadziej.
Crawling a indeksowanie
To dwa różne etapy. Crawling to pobranie strony. Indeksowanie to decyzja, czy stronę zapisać w bazie i pokazywać w wynikach. Strona może być pobrana, ale nie zaindeksowana – Search Console oznacza ją wtedy jako „Strona zeskanowana, ale jeszcze nie zindeksowana”. Najczęstsze przyczyny to słaba lub powielona treść. Więcej o tym, jak dodać stronę do Google.
Crawlery wyszukiwarek
- **Googlebot** – robot Google, dziś przede wszystkim w wersji na smartfony. Szczegóły w tekście o Googlebocie.
- **Bingbot** – robot Microsoftu; wyniki Bing wykorzystują też inne usługi, np. Copilot.
- **Roboty AI** – np. GPTBot (OpenAI) czy ClaudeBot (Anthropic), które zbierają treści dla modeli i wyszukiwarek AI.
Na stronę zaglądają też roboty narzędzi SEO, archiwów internetu i zwykłe boty spamowe.
Crawlery do analizy SEO
Własnym crawlerem możesz sprawdzić całą stronę i znaleźć problemy, zanim zrobi to wyszukiwarka:
- **Screaming Frog SEO Spider** – w wersji darmowej do 500 adresów,
- **Sitebulb** – z czytelnymi raportami i podpowiedziami,
- crawlery w pakietach Ahrefs i Semrush (audyt strony).
Taki skan pokazuje błędy 404 i przekierowania, brakujące lub powielone tytuły i opisy, strony z noindex, problemy z adresami kanonicznymi i strony bez linków wewnętrznych. Więcej o narzędziach w tekście jak korzystać z narzędzi SEO.
Budżet indeksowania
Wyszukiwarka nie pobiera wszystkich stron bez ograniczeń. Liczba odwiedzin zależy od wydajności serwera i od tego, jak ważna wydaje się strona. Na małych serwisach to rzadko problem, ale przy tysiącach adresów warto ograniczyć to, co marnuje czas robota: nieskończone kombinacje filtrów, duplikaty, łańcuchy przekierowań i błędy serwera.
Jak ułatwić pracę crawlerom
- aktualna mapa witryny XML zgłoszona w Search Console i Bing Webmaster Tools,
- logiczne linkowanie wewnętrzne – do każdej ważnej strony prowadzi link,
- poprawny plik robots.txt, który nie blokuje ważnych zasobów,
- szybki, stabilny serwer bez błędów 5xx,
- treść dostępna w HTML, a nie tylko po kliknięciu czy przewinięciu.
Jak sprawdzić, co robią crawlery na stronie
- **Search Console → Ustawienia → Statystyki indeksowania** – liczba żądań, czas odpowiedzi serwera, kody odpowiedzi,
- **Bing Webmaster Tools** – podobne dane dla Bingbota,
- **logi serwera** – pełna lista wizyt robotów; warto pamiętać, że boty często podszywają się pod Googlebota, więc prawdziwość wizyt weryfikuje się po adresie IP.
