Sprawdzanie robots.txt
Wpisujesz adres strony, a narzędzie pobiera jej plik robots.txt i mówi po ludzku, kogo wpuszcza, a kogo nie. Osobno pokazuje Google, Binga i roboty AI, i wskazuje dokładnie tę linijkę pliku, która o tym zadecydowała.
- Wpisz adres strony i kliknij „Sprawdź”.
Kto może wejść
| Robot | Werdykt | Zadecydowało |
|---|
Tabela wypełni się po sprawdzeniu.
Plik
Adres, który wpisujesz, trafia na nasz serwer tylko po to, żeby pobrać plik. Wynik trzymamy w pamięci przez dwie minuty, potem znika. Nie zapisujemy, kto o co pytał.
Jak z tego korzystać
- Wpisz adres strony. Wystarczy sama domena, narzędzie samo znajdzie plik
robots.txt. - Jeśli chcesz sprawdzić konkretną podstronę, wpisz jej ścieżkę, na przykład
/blog/albo/koszyk/. - Kliknij „Sprawdź”. Zobaczysz tabelę robotów, a przy każdym werdykt i regułę, która o nim zadecydowała.
- Możesz też wkleić treść pliku ręcznie. Przydaje się, gdy testujesz zmiany, zanim wgrasz je na serwer.
Co sprawdzamy
- Czy plik w ogóle jest i czy serwer oddaje go poprawnie. Brak pliku to nie problem, błąd serwera to duży problem.
- Czy to na pewno plik tekstowy. Część stron zamiast robots.txt oddaje stronę błędu w HTML z kodem 200. Roboty próbują to czytać i nic z tego nie rozumieją.
- Kogo plik wpuszcza. Google, Bing i jedenaście robotów AI, każdy osobno, dla ścieżki, którą podasz.
- Czy jest adres mapy strony. Linijka
Sitemap:pomaga robotom szybciej znajdować nowe podstrony. - Literówki i nieznane polecenia.
DissalowalboUseragentrobot po prostu pomija, więc blokada, na którą liczysz, nie działa.
Najczęstsze znaleziska
| Co widać | Co to zwykle znaczy |
|---|---|
Disallow: / dla wszystkich | zapomniana blokada po budowie strony; strona nie pojawi się w Google |
| Google wpuszczony, roboty AI zablokowane | wtyczka bezpieczeństwa albo ustawienie w Cloudflare; często nieświadome |
Zablokowane /wp-content/ albo pliki CSS i JS | stara porada sprzed lat; Google musi widzieć stronę tak jak człowiek |
Brak linijki Sitemap: | nic groźnego, ale warto dopisać |
| Plik jest stroną HTML | serwer nie ma robots.txt i oddaje stronę błędu z kodem 200 |
Pytania
Co, jeśli strona nie ma pliku robots.txt?
Nic złego. Brak pliku oznacza, że wszystkie roboty mogą wchodzić wszędzie. Plik przydaje się dopiero wtedy, gdy chcesz coś wyłączyć, na przykład panel, koszyk albo wyniki wewnętrznej wyszukiwarki, albo podać adres mapy strony. Gotowy plik zrobisz w generatorze robots.txt.
Narzędzie pokazuje, że Google jest zablokowany. Co teraz?
Spójrz na regułę, którą wskazuje. Najczęściej to
Disallow: / w grupie User-agent: *, zostawione po budowie strony. Usuń tę linijkę albo zamień ją na puste Disallow:. W WordPressie sprawdź też Ustawienia, potem Czytanie, czy nie jest zaznaczone „Proś wyszukiwarki o nieindeksowanie tej witryny”.Dlaczego roboty AI są pokazane osobno?
Bo robią różne rzeczy. Jedne zbierają teksty do uczenia modeli (GPTBot, ClaudeBot, CCBot), inne szukają odpowiedzi dla kogoś, kto właśnie pyta ChatGPT albo Perplexity (OAI-SearchBot, PerplexityBot, Claude-SearchBot). Zablokowanie tych drugich oznacza, że AI nie poleci Twojej firmy, bo nie przeczyta strony. Część wtyczek bezpieczeństwa i usług typu Cloudflare blokuje je domyślnie, bez Twojej wiedzy.
Jak robot wybiera regułę, gdy pasuje kilka?
Wygrywa najdłuższa pasująca ścieżka, a przy remisie
Allow. Dlatego Allow: /wp-admin/admin-ajax.php działa mimo Disallow: /wp-admin/. Robot czyta też tylko jedną grupę, najdokładniej pasującą do jego nazwy. Jeśli jest grupa User-agent: Googlebot, to Googlebot w ogóle nie patrzy na grupę z gwiazdką. Narzędzie liczy to tak samo, zgodnie ze standardem RFC 9309.Czy robots.txt usuwa stronę z Google?
Nie. Blokuje wchodzenie, a nie pokazywanie w wynikach. Zablokowana podstrona, do której prowadzą linki, może nadal wisieć w Google, tylko bez opisu. Do usuwania służy znacznik
noindex, a żeby robot go zobaczył, podstrona nie może być zablokowana w robots.txt.Serwer zwraca błąd 500 przy robots.txt. Czy to problem?
Tak, i to poważniejszy niż brak pliku. Przy błędach serwera Google zakłada, że nie wolno mu wchodzić nigdzie, i wstrzymuje odwiedzanie całej strony, dopóki plik nie zacznie działać.
Inne darmowe narzędzia
Czy Google może pokazać tę stronę
Sprawdza po kolei wszystko, co może blokować stronę w Google, od robots.txt przez noindex po canonical, i daje jeden werdykt.
OtwórzSprawdzanie nagłówków H1–H6
Pokazuje konspekt strony z nagłówków H1–H6 tak, jak widzi go Google, i wyłapuje brak H1, przeskoki poziomów oraz puste nagłówki.
OtwórzPodgląd udostępnienia (Open Graph)
Pokazuje, jak wygląda link do Twojej strony wklejony na Facebooku albo w wiadomości, i mówi, którego znacznika brakuje.
Otwórz