Robots txt WordPress – jak poprawnie skonfigurować?

Masz WordPressa i nie wiesz, co zrobić z plikiem robots.txt? Z tego poradnika dowiesz się, jak go skonfigurować, przetestować i wykorzystać do lepszego indeksowania. Dzięki temu zyskasz większą kontrolę nad tym, co Google widzi w Twojej witrynie.

Czym jest robots txt w WordPress i gdzie go znaleźć?

Plik robots.txt to prosty dokument tekstowy, który informuje roboty wyszukiwarek, jakie części strony mogą skanować, a do których nie powinny zaglądać. W WordPressie odgrywa on dużą rolę, bo ten CMS generuje sporo technicznych adresów URL, które nie zawsze chcesz widzieć w indeksie Google. Chodzi między innymi o katalog /wp-admin/, strony testowe, archiwa tagów czy różnego rodzaju raporty.

Adres pliku jest zawsze taki sam: https://twojadomena.pl/robots.txt. Jeśli w przeglądarce widzisz tam treść, oznacza to, że WordPress lub serwer już go generuje. Gdy pojawia się błąd 404, musisz dodać plik ręcznie albo włączyć jego obsługę przez wtyczkę SEO. W wielu instalacjach WP domyślny robots.txt jest generowany dynamicznie przez system i zawiera tylko podstawowe reguły.

Robots.txt nie blokuje dostępu ludziom, tylko daje wskazówki robotom wyszukiwarek – większość z nich ten plik respektuje, ale nie wszystkie.

Jak działa User-agent, Allow i Disallow?

Cała magia robots.txt opiera się na kilku linijkach. Najważniejsze to User-agent, Disallow i Allow. User-agent określa, do jakiego robota odnosi się blok reguł, np. Googlebot, Bingbot lub wszystkie boty naraz przy użyciu gwiazdki „*”. Disallow mówi, czego robot ma nie odwiedzać, a Allow pozwala wpuścić go do wybranych zasobów, także wtedy gdy cała sekcja jest zablokowana.

Typowy fragment robots.txt w WordPressie wygląda tak:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Taki zapis blokuje skanowanie panelu administracyjnego, ale pozostawia dostęp do pliku admin-ajax.php, który obsługuje dynamiczne funkcje wielu motywów i wtyczek. Jeśli budujesz większy serwis, możesz dodać osobne sekcje dla konkretnych botów, np. osobno dla Googlebot, Googlebot-Image czy AdsBot-Google.

Najczęstsze user-agenty Google

Instrukcje możesz kierować do konkretnych robotów. W praktyce najczęściej spotkasz takie oznaczenia:

Wśród botów Google warto znać przede wszystkim:

• Googlebot – główny robot indeksujący strony,
• Googlebot-Image – odpowiedzialny za grafiki,
• Googlebot-News – obsługa treści newsowych,
• Googlebot-Video – skanowanie wideo,
• Mediapartners-Google – robot związany z Google AdSense.

Dzięki temu możesz np. blokować określone typy treści tylko dla jednego robota, a dla innych wciąż je udostępniać. Dla większości małych i średnich stron w zupełności wystarczy jednak blok reguł z User-agent: *.

Dlaczego poprawna konfiguracja robots txt w WordPress jest tak ważna?

Duży sklep internetowy, blog z tysiącami wpisów lub rozbudowany serwis informacyjny generują ogromną liczbę adresów URL. Roboty wyszukiwarek mają ograniczony crawl budget, czyli czas i zasoby przeznaczone na skanowanie domeny. Jeśli tracą je na duplikaty, parametry w URL czy archiwa tagów, rzadziej odwiedzają to, co dla Ciebie najważniejsze.

Dobrze ustawiony robots.txt pomaga kierować roboty tam, gdzie chcesz mieć lepszą widoczność. Możesz ograniczyć dostęp do:

• panelu administracyjnego i plików systemowych,
• kopii testowych i środowisk deweloperskich,
• mniej istotnych katalogów jak /raporty/, /prywatne/ czy /tmp/,
• adresów z parametrami, które powodują duplikację treści.

Dla przykładu, jeśli generujesz raporty pod adresem /raporty/, wystarczy prosty zapis:

User-agent: *
Disallow: /raporty/

Roboty nie będą skanować żadnego adresu zaczynającego się od tej ścieżki, więc raporty nie trafią do wyników wyszukiwania. To samo podejście działa przy katalogach „/prywatne/” czy „/staging/”.

Jak wskazać sitemapę w robots txt?

Robots.txt to także dobre miejsce, aby pokazać wyszukiwarkom lokalizację mapy strony XML. Dzięki temu Google może szybciej odkrywać nowe adresy i lepiej rozumieć strukturę serwisu. W WordPressie mapę strony często generują wtyczki SEO, np. Yoast SEO, Rank Math lub All in One SEO.

Wystarczy dodać jedną linijkę, np.:

Sitemap: https://twojadomena.pl/sitemap.xml

Jeśli masz kilka sitemap (np. osobno dla wpisów, stron i produktów), możesz wskazać główny plik indeksowy lub kilka adresów sitemap.xml jedna pod drugą. Roboty potrafią odczytać więcej niż jedną mapę podaną w robots.txt.

Jak edytować robots txt w WordPress – wtyczki, FTP i panel hostingu?

Konfigurację robots.txt w WordPress da się zrobić na kilka sposobów. Metodę dobierz do swoich umiejętności technicznych i dostępu do serwera. Osoby początkujące najczęściej wybierają wtyczki SEO, które dodają edytor robots.txt w kokpicie WP. Bardziej zaawansowani użytkownicy korzystają z FTP lub menedżera plików w DirectAdmin albo cPanel.

Edycja robots.txt przez Yoast SEO

Jeśli używasz Yoast SEO, masz wbudowany edytor plików tekstowych. Pozwala on zmodyfikować zarówno robots.txt, jak i .htaccess prosto z panelu administracyjnego. Jest to wygodne rozwiązanie szczególnie wtedy, gdy chcesz szybko dodać regułę blokującą całe katalogi, np. /tag/ czy /wp-content/plugins/.

Aby edytować robots.txt w Yoast SEO, wykonaj kroki:

1. Zaloguj się do kokpitu WordPress.
2. Przejdź do sekcji „SEO” i wybierz „Narzędzia”.
3. Otwórz „Edytor plików”.
4. Znajdź sekcję z robots.txt lub utwórz plik, jeśli jeszcze nie istnieje.
5. Dodaj lub zmień linijki z User-agent, Allow, Disallow i Sitemap.
6. Zapisz plik i sprawdź jego treść pod adresem /robots.txt w przeglądarce.

Ta metoda jest bezpieczna, bo cały czas działasz w obrębie WordPressa, bez ryzyka przypadkowego usunięcia innych plików na serwerze. W razie błędu możesz szybko cofnąć zmiany.

Edycja robots.txt we wtyczce Rank Math

Wtyczka Rank Math również posiada dedykowany edytor robots.txt. Do tego dodaje kilka ułatwień, np. podpowiadane reguły typu „User-agent: *”, „Disallow: /wp-admin/” czy „Allow: /wp-admin/admin-ajax.php”. Dla wielu osób to wygodniejsza alternatywa niż ręczne pisanie pliku w edytorze tekstowym.

Aby zmienić robots.txt przez Rank Math:

Najpierw przejdź w kokpicie do zakładki „Rank Math” i otwórz „General Settings”. Następnie kliknij „Edit robots.txt”. Zobaczysz tam aktualną treść pliku, którą możesz swobodnie zmieniać i od razu zapisać. Rank Math generuje robots.txt dynamicznie – WordPress serwuje go jak zwykłą podstronę pod adresem /robots.txt.

Korzystanie z wtyczki WP Robots Txt

Jeżeli nie chcesz instalować rozbudowanej wtyczki SEO, możesz wybrać prostsze rozwiązanie, takie jak WP Robots Txt. Ten dodatek wprowadza jedno dodatkowe pole w sekcji „Czytanie” w panelu WP. Wystarczy wejść pod /wp-admin/options-reading.php, aby edytować treść pliku robots.txt.

Takie podejście sprawdzi się na stronach, gdzie SEO jest konfigurowane ręcznie, bez ciężkich wtyczek. Wpisujesz tam dokładnie ten sam kod, który normalnie wstawiłbyś do fizycznego pliku robots.txt, a WordPress sam wygeneruje odpowiedź pod właściwym adresem URL.

Ręczna edycja robots.txt przez FTP lub panel hostingu

Osoby, które wolą pełną kontrolę nad plikami, często wybierają bezpośrednią edycję. Możesz użyć klasycznego FTP (np. FileZilla) albo wbudowanego menedżera plików w panelu DirectAdmin lub cPanel. To rozwiązanie jest dobre, jeśli Twój robots.txt nie powinien zależeć od działania WordPressa lub wtyczek.

Proces wygląda podobnie niezależnie od narzędzia:

• połącz się z serwerem FTP lub zaloguj do menedżera plików,
• wejdź do katalogu głównego instalacji WordPress (tam gdzie leży wp-config.php),
• sprawdź, czy istnieje plik robots.txt, a jeśli nie – utwórz nowy,
• edytuj jego zawartość w prostym edytorze tekstu, zapisując zmiany,
• odśwież stronę https://twojadomena.pl/robots.txt, żeby potwierdzić, że nowa wersja działa.

W panelach takich jak DirectAdmin i cPanel znajdziesz menedżer plików zwykle w sekcjach „Pliki” lub „Zarządzanie plikami”. To wygodne rozwiązanie, gdy nie masz dostępu do FTP lub chcesz wykonać szybką poprawkę z poziomu przeglądarki.

Jak zablokować indeksowanie tagów WordPress w robots txt?

Tagi w WordPressie pomagają porządkować treści, ale łatwo przesadzić z ich liczbą. Gdy tworzysz setki tagów przypisanych do pojedynczych wpisów, generujesz mnóstwo archiwów o bardzo podobnej zawartości. Powstaje wtedy duża ilość duplikatów treści, które rzadko wnoszą coś wartościowego dla użytkownika i Google.

Jednym z prostszych sposobów na ograniczenie widoczności tych stron jest blokada indeksowania katalogu /tag/ w pliku robots.txt. Dzięki temu roboty nie będą skanować adresów w rodzaju /tag/nazwa-tagu/, co zmniejszy liczbę zbędnych podstron w indeksie.

Blokada wszystkich tagów w robots txt

Aby zatrzymać indeksowanie tagów WordPress dla wszystkich robotów, wystarczy dodać taki blok:

User-agent: *
Disallow: /tag/

Ta reguła dotyczy każdego adresu zawierającego „/tag/” bez względu na nazwę taga. W efekcie archiwa tagów wciąż będą działać dla użytkowników, ale roboty – przynajmniej te, które respektują robots.txt – nie będą ich skanować i dodawać do wyników wyszukiwania.

Jeśli chcesz, możesz jednocześnie zezwolić na indeksowanie innych części strony, np. kategorii lub konkretnych stron docelowych, zostawiając je poza zakresem reguł Disallow.

Blokada wybranych tagów

Czasem przydatne jest zablokowanie tylko części tagów, szczególnie gdy niektóre pełnią rolę ważnych stron tematycznych, a inne powstały przypadkowo. W takim wypadku możesz wykorzystać bardziej precyzyjne ścieżki w robots.txt i wskazać konkretne tagi.

Dla pojedynczego taga, np. „example”, dopisz linijkę:

User-agent: *
Disallow: /tag/example/

Tak zrobisz dla każdego taga, którego nie chcesz w indeksie. To rozwiązanie bywa wygodne, gdy część archiwów chcesz zachować jako strony docelowe (np. tagi produktów w sklepie), a inne potraktować jak podrzędne i ukryć przed robotami.

Jak testować robots txt i zgłosić go Google?

Po każdej poważniejszej zmianie w robots.txt warto sprawdzić, czy nie blokujesz przypadkowo istotnych zasobów. W WordPressie szczególnie uważaj na katalogi z motywem, wtyczkami i plikami multimediów, bo nadmierne ograniczenia mogą utrudnić wczytywanie CSS, JS czy obrazów przez Googlebota.

Najprostsza kontrola to zwykłe wejście pod adres /robots.txt i przejrzenie treści pliku. Gdy wszystko wygląda dobrze, możesz przejść do testów w Google Search Console. Narzędzie „Tester pliku robots.txt” pozwala sprawdzić dla konkretnego URL, czy robot ma do niego dostęp według aktualnych reguł.

Google nie wymaga ręcznego zgłaszania pliku robots.txt – podczas skanowania domeny samodzielnie sprawdza jego istnienie i treść.

Jeśli jednak wprowadzasz duże zmiany, możesz przesłać zaktualizowany plik przez GSC, a następnie odświeżyć indeksowanie najważniejszych adresów. Przy rozbudowanych regułach, np. w sklepach internetowych z wieloma parametrami w URL, testy w GSC pomagają upewnić się, że istotne strony produktowe nadal są dostępne dla robotów.