1. Co to jest robots.txt? Wyszukiwarki regularnie wysyłają tzw. Roboty indeksujące (zwane również wyszukiwarkami...
2. Robots.txt określa, co nie powinno być indeksowane
3. Jak zoptymalizować robots.txt na Wordpress?
4. Utwórz plik robots.txt za pomocą wtyczek WordPress
5. Klikając „Edytor plików”, możesz zmienić robots.txt w WordPressie
6. Wniosek: W razie potrzeby ręcznie zoptymalizuj plik robots.txt do WordPressa

Co to jest robots.txt?

Wyszukiwarki regularnie wysyłają tzw. Roboty indeksujące (zwane również wyszukiwarkami lub pająkami) w celu wyszukiwania nowych wpisów i podstron na stronach internetowych. Korzystając z pliku robots.txt, możesz kontrolować, które podstrony witryny nie powinny być śledzone przez roboty indeksujące i nie powinny być uwzględniane w indeksie Google. Odpowiednie strony nie pojawiają się w wynikach wyszukiwania. Oczywiście możesz ustawić to nie tylko dla Google, ale także dla innych wyszukiwarek, takich jak Bing, Yahoo and Co.

• Plik robots.txt określa, co powinno być wyświetlane w wyszukiwarkach takich jak Google z własnej witryny.
• WordPress tworzy sam wirtualny robots.txt, który jest automatycznie odtwarzany.
• Dla większości webmasterów własne dodatki mają sens.

Robot Google okresowo skanuje strony internetowe w poszukiwaniu nowych postów indeksujących

Czy WordPress automatycznie tworzy plik robots.txt?

WordPress stworzy własny plik robots.txt, dopóki sam nie utworzysz osobnego pliku. Robots.txt z WordPress jest dość wąski i ma następującą treść:

• Agent użytkownika: *
• Disallow: / wp-admin /
• Disallow: / wp-includes /

WordPress określa, która wyszukiwarka wysyła do twojego robota (agenta użytkownika) do twojej witryny (gwiazdka oznacza wszystkie wyszukiwarki w tym przykładzie) i indeksuje całą witrynę, z wyjątkiem katalogów / wp-admin i / wp-includes / dozwolone. Polecenie „disallow” blokuje botowi dostęp do dwóch nazwanych katalogów. Wyżej wymienione ustawienia domyślne mają sens, ponieważ zapewniają, że robot może wywoływać wszystkie strony . Niemniej jednak zazwyczaj zaleca się ręczne dostosowanie pliku robots.txt do WordPress. Ponieważ podstrony takie jak odcisk nie muszą być wymienione w Google. Ponadto wtyczki nie powinny pojawiać się w wynikach wyszukiwania. Ponieważ jeśli wtyczka ma lukę, atakujący może łatwo znaleźć witryny z włączonym rozszerzeniem. Dlatego robots.txt powinien zablokować wszystko, co nie jest przeznaczone dla publiczności, i nie oferuje żadnej wartości dodanej użytkownikowi reklamy Google.

Robots.txt określa, co nie powinno być indeksowane

Co Wordpress powinien umieścić w pliku robots.txt?

Każdy webmaster inaczej definiuje plik robots.txt dla WordPress, w zależności od struktury strony i własnych preferencji. Poniższy przykład daje jednak dobrą orientację, ponieważ obejmuje najważniejsze przypadki:

• User-agent: obraz Googlebota
• Disallow: Allow: / *
• User-agent: Mediapartners-Google
• Disallow: Allow: / *
• User-agent: duggmirror
• Disallow: /
• Agent użytkownika: *
• Disallow: / cgi-bin /
• Disallow: / wp-admin /
• Disallow: / wp-includes /
• Disallow: / wp-content / plugins /
• Disallow: / wp-content / cache /
• Disallow: / wp-content / themes /
• Disallow: / trackback /
• Disallow: / feed /
• Disallow: / komentarze /
• Disallow: / category /
• Disallow: / day /
• Disallow: * / trackback /
• Disallow: * / feed /
• Disallow: * / komentarze /
• Disallow: / *?
• Zezwól: / wp-content / uploads /

W pierwszych wierszach pod agentem użytkownika określa się, które boty mają dostęp. W związku z tym wyszukiwanie grafiki Google i reklamy Google są dozwolone, jednak duggmirror jest całkowicie zablokowany. Wiersz user-agent: * wyraża następujące ograniczenia dotyczące wszystkich wyszukiwarek. Poniższe wiersze określają między innymi, że katalog administracyjny ( / wp-admin / ) oraz wtyczki ( / wp-content / plugins / ) i motywy ( / wp-content / themes / ) nie są wymienione. Komentarze, archiwa i kanały są również wykluczone, aby zmniejszyć ryzyko powielania treści . Ponieważ posty są wyświetlane zarówno w Twojej witrynie, jak i w dodatkowym archiwum, Google może ukarać Cię za duplikat treści, dzięki czemu na przykład Twoje rankingi ulegną pogorszeniu. Gwiazdka w ostatnich poleceniach zapewnia, że wszystkie pliki ze ścieżek „trackback”, „feed” i „comments” nie są indeksowane. W przedostatniej linii gwiazdka wskazuje, że wszystkie adresy URL zawierające znak zapytania nie powinny być indeksowane. Aby pokazać robotowi Google Crawler strukturę strony internetowej, możesz również wprowadzić mapę witryny w pliku robots.txt.

Jak zoptymalizować robots.txt na Wordpress?

Plik robots.txt utworzony przez WordPress jest tworzony i przesyłany za pośrednictwem pliku wp-functions.php . Zmiany można wprowadzić za pomocą edytora takiego jak Notepad ++. Zmiany te są jednak nadpisywane podczas aktualizacji WordPress, co czyni je odbudowa przychodzą ustawienia domyślne. Bardziej sensowne jest utworzenie nowego pliku o nazwie robots.txt w edytorze i zapisanie go w katalogu głównym (zwanym również katalogiem głównym) domeny. Jeśli twoja domena to http://www.twoja-przyklad.com , ścieżka do pliku robots.txt powinna wyglądać następująco: http://www.twoja-przyklad.com/robots.txt . Po utworzeniu takiego pliku zawsze ma on pierwszeństwo przed automatycznie generowanym plikiem robots.txt z WordPress.

Utwórz plik robots.txt za pomocą wtyczek WordPress

W WordPressie tworzenie robots.txt jest jeszcze łatwiejsze niż wtyczki . Jest ich kilka SEO Wtyczki umożliwiające tworzenie lub modyfikowanie pliku robots.txt bezpośrednio w zapleczu. Jedną z najbardziej sprawdzonych wtyczek jest Yoast SEO . Jeśli pomyślnie zainstalowałeś i aktywowałeś rozszerzenie, możesz przejść do pozycji menu „SEO => Narzędzia”, a następnie kliknąć „Edytor plików”, gdzie możesz edytować plik robots.txt bezpośrednio w WordPressie. Klikając „Zastosuj zmiany w pliku robots.txt”, Twoje zmiany są zapisywane i natychmiast aktywne.

Klikając „Edytor plików”, możesz zmienić robots.txt w WordPressie

Uwaga: nie wszystkie boty trzymają się pliku robots.txt

Reguła behawioralna ustawiona w pliku robots.txt dla WordPressa służy jedynie jako przewodnik dla robotów wyszukiwarek, nie jest wiążąca . Chociaż roboty z Google i innych renomowanych wyszukiwarek zawsze stosują się do ich oświadczeń, inne roboty nie zawsze tak robią. Jeśli więc chcesz się upewnić, że niektóre części Twojej witryny nie są nigdzie indeksowane, powinieneś pomyśleć o innych metodach blokowania - takich jak pliki i foldery chronione hasłem na serwerze.

Wniosek: W razie potrzeby ręcznie zoptymalizuj plik robots.txt do WordPressa

Korzystając z pliku robots.txt, możesz dokładnie określić, które części witryny, do których roboty indeksujące mają dostęp, a które pozostają zablokowane. Dzięki indywidualnym dostosowaniom możesz dostosować zachowanie wyszukiwarek do warunków swojej witryny.

• Określ, które podstrony powinny być wymienione dla Google i innych wyszukiwarek.
• Plik robots.txt musi być zawsze przechowywany w katalogu głównym domeny.
• Wtyczki SEO WordPress ułatwiają tworzenie i edycję pliku robots.txt.