1. Krok 1: Utwórz plik w edytorze tekstu
2. Krok 2: Zoptymalizuj plik dla wyszukiwarek
3. Krok 3: Prześlij plik na swoją stronę

Kluczową częścią poprawy widoczności witryny jest zapewnienie jej widoczności w wynikach wyszukiwania. Jednak równie ważne jest, aby te wyniki dokładnie odzwierciedlały najlepsze treści w witrynie. Większość witryn zawiera niektóre treści, których nie chcesz wyświetlać podczas wyszukiwania. Jak więc kontrolować, co Google robi i nie wyświetla?

W tym miejscu pojawia się mały plik znany po prostu jako robots.txt . Na pierwszy rzut oka może się to wydawać mało, ale ten jeden plik może mieć ogromny wpływ na ogólną witrynę Search Engine Optimization (SEO) . Pozwala kontrolować, które obszary witryny są widoczne dla wyszukiwarek. Ponadto zapewnia, że ​​szybciej zauważą aktualizacje dokonane w witrynie.

W tym artykule przyjrzymy się, w jaki sposób możesz utworzyć plik robots.txt WordPress, aby poprawić rankingi Google w swojej witrynie. Dowiesz się, jak utworzyć plik, gdzie dodać go do swojej witryny WordPress i co powinien zawierać. Na koniec pokażemy Ci, jak przesłać go do Google Search Console . Zacznijmy!

Najprościej rzecz ujmując, robots.txt to plik tekstowy zawierający proste instrukcje informować wyszukiwarki co powinni i czego nie powinni czytać na Twojej stronie. Możesz myśleć o tym jako o kierunkach, które podajesz witrynom takim jak Google. Mówi im, które strony i katalogi nie mają być uwzględniane w wynikach wyszukiwania.

Dlaczego jest to ważne i jak wpływa na SEO? Aby odpowiedzieć na to pytanie, musimy porozmawiać o robotach indeksujących. Przeszukiwacz to program, którego wyszukiwarki używają do odczytywania stron internetowych, aby je indeksować, aby mogły pojawiać się w wynikach wyszukiwania. Być może znasz już robota Google, który nazywa się Googlebot .

Gdy te programy indeksują Twoją witrynę, domyślnie sprawdzają każdą stronę w niej. Im więcej stron zawiera Twoja witryna, tym dłużej robot przeczyta wszystko. Aby roboty indeksujące nie wpływały negatywnie na witryny, przepracowując je, każda witryna otrzymuje „budżet indeksowania”. W ten sposób Google wyjaśnia budżet indeksowania :

„Mówiąc najprościej, oznacza to liczbę jednoczesnych równoległych połączeń, których Googlebot może użyć do indeksowania witryny, a także czas oczekiwania na pobranie”.

W tym samym artykule Google identyfikuje również „posiadanie wielu adresów URL o niskiej wartości dodanej” jako ważny czynnik, który negatywnie wpływa na indeksowanie witryny. W praktyce oznacza to, że jeśli robot musi przejść przez strony o niskiej jakości, to marnuje budżet indeksowania na nieistotną treść zamiast na zawartość, którą chce znaleźć. Spowoduje to również rzadsze indeksowanie całej witryny. Ponadto aktualizacje będą wyświetlane dłużej w wynikach wyszukiwania.

Do tej pory masz nadzieję, że zrozumiesz, dlaczego dodanie pliku robots.txt do Twojej witryny jest ważne dla optymalizacji jego widoczności. Nadszedł czas, aby przyjrzeć się, jak możesz stworzyć taki plik i dodać go do swojej witryny WordPress. W tym przewodniku przeprowadzimy Cię przez każdy etap procesu. Pokażemy Ci, jak napisać plik, gdzie jest robots.txt w WordPressie i jak przesłać go do Google.

Krok 1: Utwórz plik w edytorze tekstu

Do utworzenia pliku robots.txt wystarczy prosty edytor tekstu, taki jak TextEdit lub Notatnik. Sam plik jest po prostu listą jednej lub kilku dyrektyw, których roboty indeksujące używają do określenia, które części witryny mają być odczytywane i indeksowane. Pisanie jednego polega więc na dodawaniu żądanych instrukcji przy użyciu wymaganej składni, na którą teraz spojrzymy.

Przyjrzyjmy się przykładowemu plikowi robots.txt z pewnym standardowym kodem:

Linia User-agent określa, które roboty indeksujące mają na celu konkretną dyrektywę. Ponieważ w tym przykładzie użyto znaku wieloznacznego gwiazdki (*), dyrektywa ta jest skierowana do wszystkich przeszukiwaczy. Jeśli chciałbyś skierować to tylko na określonego robota, takiego jak Googlebot, wyglądałoby to tak:

Drugi wiersz zawiera instrukcje, które podajesz robotowi, który w tym przypadku to Disallow . Określa, które części witryny nie chcą indeksować określonego agenta użytkownika. Ten przykład pozostawia pustą linię, co oznacza, że ​​żadne foldery nie zostały odrzucone. Dlatego robot przeczyta wszystko na stronie.

Powiedzmy, że chcemy, aby Googlebot nie indeksował folderu o nazwie / old-photos / . W tym scenariuszu plik tekstowy powinien wyglądać następująco:

Należy pamiętać, że w tych wartościach rozróżniana jest wielkość liter. Więc jeśli folder jest rzeczywiście nazywany / Old-Photos / , ta instrukcja nie ma do niego zastosowania.

Powiedzmy, że w tym folderze znajdują się pliki, które chcesz, aby robot przeszukał. Możesz to zrobić za pomocą dyrektywy Allow :

Są też dodatkowe niestandardowe dyrektywy takie jak opóźnienie indeksowania , mapa witryny i host , ale nie są one zrozumiałe dla wszystkich robotów indeksujących. Na przykład, Googlebot będzie tylko zaakceptuj mapę witryny , która wskazuje robotowi indeks mapy witryny XML. Ogólnie jednak nie musisz się martwić o włączenie tego, jak możesz przesłać mapę witryny bezpośrednio przez Google Search Console .

Teraz, gdy wiesz, jak połączyć plik robots.txt , zobaczmy, co powinien zawierać, aby uzyskać najlepsze wyniki!

Krok 2: Zoptymalizuj plik dla wyszukiwarek

Aby zoptymalizować plik robots.txt , najpierw musisz zastanowić się, które obszary witryny nie powinny przeszkadzać robotom indeksującym. Obejmuje to, ale z pewnością nie ogranicza się do obszarów, które nie są widoczne dla opinii publicznej lub które nie mają sensu poza konkretnym kontekstem.

Pamiętaj, że nie dotyczy to zasobów JavaScript ani CSS, których nigdy nie należy blokować. W rzeczywistości jest to coś Google specjalnie polecił , ponieważ uniemożliwia robotom indeksującym pełne zrozumienie działania witryny i może zakłócać ocenę SEO:

„Nie zezwalanie na indeksowanie plików JavaScript lub CSS w robots.txt Twojej witryny bezpośrednio szkodzi temu, jak dobrze nasze algorytmy renderują i indeksują treść, i mogą skutkować nieoptymalnym rankingiem”.

Jednym z przykładów strony, którą prawdopodobnie chciałbyś odrzucić, jest strona logowania administratora do WordPress, którą możesz wykonać w następujący sposób:

Jednak wiele motywów opiera się na pliku znajdującym się w tym katalogu o nazwie admin-ajax.php . Będziesz chciał zezwolić na ten plik, ponieważ jest to element JavaScript:

Innym przykładem typu strony do odrzucenia byłyby strony „Dziękujemy”, które odwiedzający widzą tylko po wypełnieniu formularza. Ponownie, nie ma sensu pojawiać się w wynikach wyszukiwania, więc możesz zabronić obu:

To tylko kilka przykładów, a to, co powinieneś zablokować w pliku robots.txt , zależy od zawartości konkretnej witryny. Musisz więc użyć najlepszego osądu i zawsze brać pod uwagę efekt, jaki będą miały każde zezwolenie lub zakaz . Na przykład poniższa dyrektywa zablokuje całą witrynę przed wszystkimi robotami indeksującymi, dlatego ważne jest, aby nie być nieostrożnym:

Inną kluczową rzeczą do zapamiętania jest to, że dyrektywy w pliku robots.txt to tylko: dyrektywy. Tylko dlatego, że powiesz botom, aby nie indeksowały strony lub folderu, nie oznacza to, że nie. Jeśli strona ma wystarczającą liczbę linków, zostanie zaindeksowana, nawet jeśli pojawi się w pliku robots.txt . Jeśli chcesz mieć gwarancję, że strona nigdy nie pojawi się w wynikach wyszukiwania Google, powinieneś użyć metatag noindex zamiast.

Z tego powodu robots.txt nie powinien być nigdy używany do celów bezpieczeństwa. Gdybyś w ten sposób „ukrywał” części swojej witryny, robots.txt po prostu wskazywałby złośliwe boty w stronę części, na które najmniej chciałbyś, żeby na nich patrzyły.

Krok 3: Prześlij plik na swoją stronę

Po zakończeniu dostosowywania pliku zapisz go jako robots.txt . Bardzo ważne jest, aby była to dokładna nazwa pliku, ponieważ rozróżniana jest wielkość liter. Na przykład roboty nie znajdą plików o nazwach Robots.txt lub robots.TXT . Następnie możesz przesłać plik do swojej witryny WordPress, dodając go do katalogu głównego. Ważne jest, aby była to lokalizacja robots.txt w programie WordPress, ponieważ tam będą szukać robotów indeksujących. Jeśli Twoja witryna to http://example.com , adres URL pliku powinien być http://example.com/robots.txt .

Sposób przesyłania pliku zależy od sposobu skonfigurowania witryny. Może będziesz musiał użyj rozwiązania FTP , chociaż niektóre wtyczki WordPress znacznie ułatwią zadanie. Na przykład, Yoast SEO zawiera generator robots.txt , który umożliwia edytuj plik robots.txt bezpośrednio z panelu administracyjnego.

Ukończyłeś plik robots.txt i dodałeś go do swojej witryny WordPress. Teraz nadszedł czas, aby powiedzieć o tym Google. Odbywa się to poprzez Google Search Console , która jest usługą, którą Google zapewnia webmasterom, aby sprawdzić stan indeksowania swoich witryn. Zawiera również wiele narzędzi do optymalizacji widoczności.

Przesyłając plik robots.txt w formacie WordPress, informujesz Google, że chcesz, aby Googlebot indeksował Twoją witrynę zgodnie z dyrektywami. Upewnij się, że ponownie przesyłasz plik za każdym razem, gdy go aktualizujesz. W ten sposób możesz upewnić się, że Twoje zmiany zaczną obowiązywać tak szybko, jak to możliwe. Jeśli jeszcze tego nie zrobiłeś zarejestrowane i zweryfikowane Twoja witryna z Google Search Console, upewnij się, że to zrobisz najpierw.

Zacznij od dostępu do narzędzie testowe robots.txt . Umożliwia to przeglądanie i testowanie pliku robots.txt przed jego przesłaniem:

Jeśli witryna jest już połączona z Search Console, edytor tekstu będzie automatycznie zawierał aktualną zawartość pliku robots.txt na żywo. Jeśli zawiera ostrzeżenia składniowe lub błędy logiczne, zostaną one tutaj wyróżnione. Edytuj plik, aby poprawić wszystkie problemy, zanim przejdziesz dalej:

Pod edytorem tekstu znajduje się pole, które pozwala sprawdzić, czy określony obszar witryny jest zablokowany lub dozwolony przez określone roboty:

Po prostu wprowadź adres URL i kliknij przycisk Testuj . Jeśli adres URL jest niedozwolony, przycisk będzie teraz czytał Zablokowany , a odpowiednia dyrektywa zostanie podświetlona na czerwono wewnątrz edytora:

Z drugiej strony, jeśli adres URL nie zostanie zablokowany, przycisk wyświetli Dozwolone . Jeśli w kodzie znajduje się odpowiednia dyrektywa Zezwalaj , będzie ona również podświetlona na zielono:

Jeśli wyniki tych testów nie są zgodne z oczekiwaniami lub oczekiwaniami, spójrz na swój kod, aby zobaczyć, jakie zmiany należy wprowadzić. Warto użyć tego narzędzia, aby dokładnie przetestować swoje strony na tym etapie, zamiast ryzykować, że niepożądane indeksowanie będzie miało miejsce poniżej linii, więc nie spiesz się.

Jeśli jesteś zadowolony, że Twój kod nie zawiera żadnych problemów i jest zgodny z Twoimi wymaganiami, możesz skopiować go z edytora i dodać do rzeczywistego pliku robots.txt . Następnie możesz kliknąć przycisk Prześlij , który otworzy okno dialogowe z trzema różnymi opcjami:

• Pobieranie: Generuje i pobiera plik robots.txt na podstawie zawartości edytora tekstu narzędzia testującego.
• Wyświetl przesłaną wersję : otwiera bieżący plik robots.txt bieżącej witryny .
• Prześlij : powoduje przesłanie pliku robots.txt witryny do Google.

Kliknij Wyślij , aby poprosić Google o zaindeksowanie Twojej witryny i znalezienie aktualizacji. Dopełnienie żądania zajmie Google, ale możesz przeładować stronę, aby zobaczyć, kiedy pokazuje zaktualizowany plik robots.txt WordPress.

Dobrze spreparowany plik robots.txt jest potężnym narzędziem, którego możesz użyć do ulepszenia SEO witryny WordPress. Pozwala kontrolować, które części witryny pojawiają się w wynikach wyszukiwania i zapewnia, że ​​roboty indeksujące wyszukiwarki szybciej przejmują zmiany w witrynie.

Oto krótkie podsumowanie kroków, które należy wykonać, aby utworzyć plik robots.txt w programie WordPress:

1. Utwórz plik robots.txt za pomocą narzędzia do edycji tekstu.
2. Zmodyfikuj plik robots.txt w programie WordPress, aby uniemożliwić indeksowanie wszystkich obszarów witryny, w których Googlebot nie chce się indeksować.
3. Prześlij dostosowany plik do katalogu głównego witryny.
4. Przetestuj plik robots.txt , używając Narzędzie testowe Google do robots.txt , a następnie prześlij go do Google Search Console .

Czy masz jakieś dodatkowe pytania dotyczące pliku robots.txt ? Daj nam znać w komentarzach poniżej!