Strona główna / Narzędzia
Narzędzia

Generator robots.txt dla WordPress

Złóż plik robots.txt dla swojej strony WordPress: ustaw regułę dla sitemap, zablokuj zaplecze, ogranicz crawlery AI i wyszukiwarkę wewnętrzną. Wszystko liczy się w przeglądarce, nic nie jest wysyłane. Gotowy plik wgraj do katalogu głównego strony. Więcej o roli robots.txt w technicznym SEO WordPress.

Standardowa, otwarta reguła dla wszystkich robotów. Odznacz tylko, jeśli chcesz zablokować całą stronę (np. środowisko testowe).

Blokuje indeksowanie całej witryny. Użyj dla stron staging i testowych. Uwaga: to nie jest zabezpieczenie hasłem, tylko prośba do robotów.

Standardowa reguła WordPress: blokuje zaplecze, ale pozostawia dostęp do admin-ajax.php potrzebnego wielu wtyczkom.

Zapobiega indeksowaniu stron wyników wyszukiwania, które tworzą tzw. thin content i marnują crawl budget.

Ukrywa readme.html i licence.txt, które mogą zdradzać wersję WordPress.

Blokuje znane boty zbierające treść do trenowania modeli AI (GPTBot, CCBot, Google-Extended, ClaudeBot i inne). Uwaga: to dobrowolna prośba, nie wszystkie boty ją respektują.


                    
Plik robots.txt umieść w katalogu głównym (dostępny pod /robots.txt). Pamiętaj: robots.txt to wskazówka dla robotów, nie zabezpieczenie. Do ukrycia treści użyj hasła (.htpasswd) lub noindex. Blokada w robots.txt nie usuwa strony z indeksu, jeśli już się tam znalazła.

                

            

        

    


    

        

            

                
Czym jest robots.txt i jak działa

                
Robots.txt to prosty plik tekstowy umieszczany w katalogu głównym strony, który komunikuje robotom wyszukiwarek, czego mają nie odwiedzać lub nie indeksować, oraz wskazuje adres mapy witryny. Roboty pobierają go jako jeden z pierwszych zasobów i traktują jak zestaw wskazówek. Ważne: to wskazówka, nie zabezpieczenie. Reguły respektują tylko dobrze wychowane boty, a zablokowany adres może i tak trafić do indeksu, jeśli prowadzą do niego linki. Plik dobrze ustawiony pomaga jednak oszczędzać budżet indeksowania i trzymać poza wynikami strony, które nie powinny się tam znaleźć. Stanowi element technicznego SEO WordPress.

            


            

                
Co warto skonfigurować w WordPress

                

                    

                        Blokada wp-admin
                        Standard: zablokuj katalog /wp-admin/, ale zostaw dostęp do /wp-admin/admin-ajax.php, którego używa wiele wtyczek i motywów. Generator ustawia oba warunki automatycznie.
                    

                    

                        Adres sitemap
                        Wskazanie pełnego adresu mapy witryny ułatwia robotom odkrywanie podstron. Jeśli korzystasz z wtyczki SEO, użyj adresu jej sitemap (np. /sitemap_index.xml). Sitemap to filar indeksowania.
                    

                    

                        Wyszukiwarka wewnętrzna
                        Blokada adresów wyników wyszukiwania (?s=) zapobiega indeksowaniu setek cienkich, powtarzalnych podstron, które marnują budżet indeksowania i osłabiają jakość witryny w oczach Google.
                    

                    

                        Crawlery AI
                        Jeśli nie chcesz, by Twoje treści zasilały modele AI, możesz dodać reguły dla botów takich jak GPTBot czy CCBot. To dobrowolna prośba, którą respektują tylko boty przestrzegające standardu.
                    

                    

                        Środowisko testowe
                        Dla strony testowej użyj pełnej blokady (Disallow: /), a najlepiej dodatkowo zabezpiecz ją hasłem przez .htpasswd. Sam robots.txt nie ukryje treści przed kimś, kto zna adres.
                    

                

            


            

                
Najczęstsze pytania o robots.txt

            

            

                
Robots.txt to plik tekstowy w katalogu głównym strony, który podpowiada robotom wyszukiwarek, których adresów nie powinny indeksować lub odwiedzać. Pozwala też wskazać adres mapy witryny. To wskazówka, a nie zabezpieczenie.

                
Tylko częściowo. Reguła Disallow prosi roboty, by nie odwiedzały adresu, ale jeśli strona ma linki z zewnątrz, może i tak pojawić się w indeksie bez treści. Aby naprawdę usunąć stronę z wyników, użyj noindex lub ochrony hasłem.

                
To dobra praktyka, ale z wyjątkiem admin-ajax.php, którego potrzebuje wiele wtyczek. Standardowa reguła blokuje /wp-admin/, a zezwala na /wp-admin/admin-ajax.php. Generator ustawia to automatycznie.

                
Tak, można dodać reguły Disallow dla znanych botów AI (np. GPTBot, CCBot, Google-Extended, ClaudeBot). To dobrowolna prośba: respektują ją tylko boty przestrzegające standardu robots.txt. Część botów może ją ignorować.

                
W katalogu głównym domeny, dostępny pod adresem twojadomena.pl/robots.txt. Każda subdomena ma własny plik. WordPress generuje wirtualny robots.txt, ale plik fizyczny w katalogu głównym ma nad nim pierwszeństwo.

            


            

                
Narzędzie i opracowanie: Marcin Szewczyk-Wilgan, WebOptimo. Reguły zgodne ze standardem robots.txt i praktyką technicznego SEO dla WordPress. Generator działa w przeglądarce, bez wysyłania danych.

            

        

    


    
Kontakt
Zadbamy o techniczne SEO Twojej strony
Konfigurujemy robots.txt, mapy witryny, indeksowanie i techniczne SEO WordPress. Bez zobowiązań, konkretna propozycja po krótkiej rozmowie.
Telefon
+48 608 271 665
Pn–Pt, 8:00–16:00
E-mail
kontakt@weboptimo.pl
Odpowiadamy w ciągu 24h
Firma
WebOptimo
NIP: 6391758393











	Marcin Szewczyk-Wilgan - m4c.pl  Powered by FreeBSD  Edited in Vim