Google nie indeksuje podstron: przyczyny i jak je sprawdzić

Najpierw raport, nie domysły

W Google Search Console otwórz raport Indeksowanie stron (Page indexing). Pokazuje, ile adresów Google zna, ile zaindeksował i z jakiego powodu pominął resztę. Dla pojedynczego adresu użyj Sprawdzania adresu URL (URL Inspection): pokaże, czy strona jest w indeksie, którą wersję Google uznał za kanoniczną i jak wygląda strona po wyrenderowaniu.

Nie licz podstron zapytaniem site:twojadomena.pl w wyszukiwarce. Wynik jest przybliżony i potrafi się różnić o rzędy wielkości. Raport w Search Console jest jedynym źródłem, które warto porównywać miesiąc do miesiąca.

Co znaczą statusy w raporcie

• Zeskanowano – obecnie nie zindeksowano (Crawled – currently not indexed). Google pobrał stronę i uznał, że nie warto jej dodać. Sprawdź treść: duplikaty, puste kategorie, strony bez własnej wartości.
• Wykryto – obecnie nie zindeksowano (Discovered – currently not indexed). Google zna adres, ale jeszcze go nie pobrał. Sprawdź linkowanie wewnętrzne, szybkość serwera i liczbę zbędnych adresów.
• Strona wykluczona za pomocą tagu „noindex” (Excluded by noindex tag). Strona sama prosi, żeby jej nie indeksować. Sprawdź tag w kodzie, nagłówek X-Robots-Tag i ustawienia wtyczki SEO.
• Duplikat, Google wybrał inną stronę kanoniczną niż użytkownik (Duplicate, Google chose different canonical than user). Twój tag canonical wskazuje jedno, Google uznał inaczej. Sprawdź warianty, parametry w adresach i prawie identyczne opisy.
• Zablokowano przez plik robots.txt (Blocked by robots.txt). Robot nie może pobrać strony. Sprawdź reguły Disallow.
• Soft 404. Strona odpowiada poprawnie, ale wygląda na pustą. Sprawdź kategorie bez produktów i wyniki wyszukiwania bez wyników.

Część pominiętych adresów to norma. Strony koszyka, logowania, sortowania czy stare adresy z przekierowaniem powinny być poza indeksem. Problem zaczyna się wtedy, gdy na liście pominiętych są kategorie, produkty albo podstrony usług, czyli to, co ma sprzedawać.

Siedem najczęstszych przyczyn

1. Zapomniany noindex

Wersja testowa sklepu ma słusznie ustawiony zakaz indeksowania. Po przeniesieniu na produkcję zakaz zostaje: w tagu meta, w nagłówku odpowiedzi serwera albo w ustawieniu wtyczki „ukryj stronę przed wyszukiwarkami”. To najczęstsza przyczyna, gdy z indeksu znika cały serwis naraz, zwykle tuż po wdrożeniu.

2. robots.txt blokuje nie to, co trzeba

Plik robots.txt zabrania robotowi pobierania adresów, ale nie usuwa ich z indeksu. Stąd dwa odwrotne problemy. Reguła napisana zbyt szeroko blokuje kategorie albo pliki CSS i JavaScript, bez których Google nie wyrenderuje strony. A strona zablokowana w robots.txt i jednocześnie oznaczona noindex może zostać w indeksie, bo robot nigdy nie przeczyta tego noindexu.

3. Treść pojawia się dopiero w przeglądarce

Jeśli serwer wysyła pusty szablon, a opis produktu i lista produktów w kategorii dociągają się skryptem, Google musi stronę wyrenderować. Robi to, ale z opóźnieniem i nie zawsze w całości. Sprawdź w Sprawdzaniu adresu URL zrzut i kod strony po wyrenderowaniu: jeśli brakuje w nich treści albo linków, Google też ich nie widzi. Dlatego podstrony, które mają być w Google, budujemy tak, żeby pełny HTML przychodził z serwera przy pierwszym pobraniu.

4. Linki, których robot nie kliknie

Google przechodzi po zwykłych linkach, czyli elementach a z atrybutem href. Menu, filtry albo paginacja zrobione jako przyciski z obsługą kliknięcia w JavaScripcie nie prowadzą robota nigdzie. Podstrona, do której nie prowadzi żaden zwykły link, jest dla Google sierotą, nawet jeśli jest w mapie strony. Mapa strony podpowiada, co istnieje, ale nie zastępuje linkowania.

5. Duplikaty i canonical

Filtry, sortowanie, warianty kolorów i parametry kampanii tworzą setki adresów z tą samą treścią. Google wybiera wtedy jedną wersję jako kanoniczną, niekoniecznie tę, którą chcesz. Tag canonical jest dla Google wskazówką, nie poleceniem: jeśli linki wewnętrzne, mapa strony i przekierowania wskazują co innego, Google może go zignorować. Wszystkie te sygnały muszą wskazywać ten sam adres.

6. Strony bez własnej wartości

Status „Zeskanowano – obecnie nie zindeksowano” przy produktach zwykle oznacza, że opis jest taki sam jak u producenta i u kilkudziesięciu innych sklepów, a przy kategoriach, że są prawie puste. Google nie indeksuje wszystkiego, co znajdzie. Pomaga własny opis, dane, których nie ma gdzie indziej (wymiary, zastosowanie, porównanie), i usunięcie z indeksu stron, które nic nie wnoszą.

7. Wolny albo zawodny serwer

Gdy serwer odpowiada wolno albo zwraca błędy 5xx, Google ogranicza tempo pobierania. W dużym sklepie oznacza to, że nowe i zmienione produkty czekają tygodniami na pierwsze odwiedziny robota. Raport Statystyki indeksowania (Crawl stats) w ustawieniach Search Console pokaże średni czas odpowiedzi i udział błędów.

W jakiej kolejności sprawdzać

1. 01Raport „Indeksowanie stron”: które typy podstron są pominięte i z jakim statusem.
2. 02Sprawdzanie adresu URL dla trzech przykładowych podstron z każdej grupy: status, strona kanoniczna, kod po wyrenderowaniu.
3. 03Kod strony i nagłówki odpowiedzi: noindex, canonical, kod odpowiedzi (200, 301, 404).
4. 04Plik robots.txt: czy nie blokuje kategorii, produktów ani plików CSS i JS.
5. 05Mapa strony: czy zawiera tylko adresy kanoniczne, które mają być w indeksie, i czy jest zgłoszona w Search Console.
6. 06Linkowanie wewnętrzne: czy do każdej ważnej podstrony prowadzi zwykły link z menu, kategorii albo innej treści.
7. 07Treść: czy pominięte podstrony mają coś, czego nie ma na setce podobnych stron.

Przy kilkuset adresach da się to zrobić ręcznie. Przy kilku tysiącach potrzebny jest crawler, który przejdzie serwis jak robot Google, i często także analiza logów serwera, żeby zobaczyć, które adresy robot naprawdę odwiedza. Tak wygląda nasz audyt SEO.

Po poprawkach

W raporcie kliknij Sprawdź poprawkę (Validate fix) przy statusie, który usunąłeś, a najważniejsze pojedyncze adresy zgłoś przez Sprawdzanie adresu URL. Liczba zgłoszeń dziennie jest ograniczona, więc zgłaszaj te, na których zależy Ci najbardziej. Zmiana w raporcie pojawia się po kilku dniach do kilku tygodni, zależnie od wielkości serwisu. Nikt nie może zagwarantować, że Google zaindeksuje każdą podstronę, ale po usunięciu przeszkód technicznych o wyniku decyduje już treść.

Jeśli podstrony znikają po przenosinach sklepu, najczęściej brakuje przekierowań ze starych adresów. Jak zrobić przeprowadzkę bez utraty ruchu, opisujemy w tekście Kiedy przejść z Shopify lub innego SaaS na własny sklep. A gdy podstrony są w indeksie, ruch jest, a sprzedaży brak, zajrzyj do tekstu Ruch jest, sprzedaży nie ma.