Jak blokować wyszukiwarki (z ilustracjami)

Wyszukiwarki są wyposażone w roboty (pająki internetowe lub boty), które skanują i indeksuje stron internetowych. Jeśli Twoja strona lub strona jest w ramach opracowywania lub zawiera niechciane treści, roboty mogą być zabronione do skanowania i indeksowania witryny. Dowiedz się, jak zablokować całe witryny, strony i linki za pomocą pliku robotów.TXT lub konkretne strony i linki za pomocą znaczników HTML . Czytaj dalej, aby dowiedzieć się, jak zabronić dostęp do treści do niektórych botów.

Kroki

Metoda 1 z 2:

Zablokuj wyszukiwarki za pomocą pliku robotów.TEKST

jeden. Sprawdź plik robotów.TEKST. Plik robotów.TXT to prosty plik tekstowy lub plik ASCII, który informuje o spiderach internetowych wyszukiwarek, na które części witryny mogą uzyskać dostęp. Pliki i foldery wymienione w pliku robotów.TXT, nie można skanować i indeksować przez wyszukiwane roboty. Użyj pliku robotów.Txt, jeśli:

Chcesz ukryć pewne treści z wyszukiwarek;
Jesteś w trakcie opracowywania witryny i nie są gotowe do skanowania i indeksowania witryny przez pająki wyszukiwarek;
Chcesz ograniczyć dostęp do autorytatywnych botów.

2. Utwórz i zapisz plik robotów.TEKST. Aby utworzyć plik, otwórz zwykły edytor tekstu lub edytora kodu. Zapisz plik jako robotów.TEKST. Nazwa pliku musi być napisana z małymi literami.

Nie zapomnij dodawać "s" na końcu.

Podczas zapisywania pliku wybierz rozszerzenie ".TEKST ". Jeśli używasz słowa, wybierz opcję "Zwykły tekst".

3. Utwórz plik robotów.Txt z bezwarunkową niedozwoloną dyrektywą. Bezwarunkowa niedozwolona dyrektywa pozwoli na blokowanie robotów wyszukiwania wszystkich głównych wyszukiwarek, unikając tym samym skanowania i indeksowania witryny. Dodaj następujące wiersze do pliku tekstowego:

Agent użytkownika: * Nie zezwala: /

Użyj bezwarunkowej Dissewlow Dyrektywa w pliku robotów.TXT jest silny niezalecany. Kiedy bot, taki jak Bingbot, uważa ten plik, nie indeksuje witryny, a wyszukiwarka nie wyświetla go.

Agenci użytkownika (Agenci użytkownika) - to kolejna nazwa pająków internetowych lub wyszukiwania robotów.

*: Gwiazdka oznacza, że kod ma zastosowanie do wszystkich agentów użytkownika.

Nie zezwala: /: Diabeł nie wskazuje, że cała strona jest zamknięta dla botów.

cztery. Utwórz plik robotów.Txt z Alow Warunkowo Dyrektywa. Zamiast blokować wszystkie boty, rozważ blokowanie dostępu do określonych pająków do niektórych części witryny. Główne polecenia zezwalania na dyrektywę warunkową obejmują ::

Blokowanie betonu Bot: Wymień gwiazdkę obok Agent użytkownika na Googlebot, GoogleBot-News, GoogleBot-Image, Bingbot lub Teoma.

Blokowanie katalogu lub jego zawartość:

Agent użytkownika: * Nie zezwala: / Katalog próbek /

Blokowanie strony internetowej:

User-Agent: * Nie rozluźnia: / Private_file.Html

Blokowanie obrazu:

User-Agent: GoogleBot-imagedisallow: / Images_mipicture.jpg

Zablokuj wszystkie obrazy:

Agent użytkownika: GoogleBot-imagedisallow: /

Blokowanie oddzielnego formatu pliku:

Agent użytkownika: * Nie zezwala: / P *.jpg $

pięć. Zaspokaja boty do indeksowania i skanowania witryny. Wiele osób nie tylko nie blokuje, ale przeciwnie, witamy uwagę pająków wyszukiwarek do ich witryny, aby była całkowicie indeksowana. Aby to osiągnąć, może być trzy sposoby. Po pierwsze, możesz odmówić utworzenia pliku robotów.TEKST. Jeśli robot nie znajdzie pliku robotów.TXT, będzie nadal skanować i indeksować całą witrynę. Po drugie, możesz utworzyć pusty plik robotów.TEKST. Robot znajdzie plik robotów.TXT zobaczy, że jest pusty i będzie nadal skanować i indeksować witrynę. Wreszcie możesz utworzyć plik robotów.Txt z bezwarunkową dyrektywą rozdzielczości przy użyciu Kodeksu:

User-Agent: * Nie zezwala:

Kiedy bot, taki jak googlebot, uważa ten plik, może swobodnie odwiedzać całą swoją stronę Freelance.

Agenci użytkownika (Agenci użytkownika) - to kolejna nazwa pająków internetowych lub wyszukiwania robotów.

*: Gwiazdka oznacza, że kod ma zastosowanie do wszystkich agentów użytkownika.

Zakazać: Puste polecenie z niedozwoleniem oznacza, że wszystkie pliki i foldery są dostępne.

6. Zapisz plik tekstowy w katalogu głównym domeny. Po edycji pliku robotów.Txt zapisz zmiany. Włóż plik w katalogu głównym witryny. Na przykład, jeśli masz domenę YouDomain.Com, Umieść plik robotów.Txt na adresie YouDomain.Com / roboty.TEKST.

Metoda 2 z 2:

Zablokuj Metategories Wyszukiwarki

jeden. Sprawdź roboty metategowe HTML. Roboty Meter pozwala programistom ustawić parametry do botów lub spiderów wyszukiwarek. Z pomocą tych znaczników Boty są zabronione w indeksowaniu i skanowaniu całej witryny lub oddzielnych części. Możesz także użyć ich do blokowania specyficznego poszukiwania pająka z indeksowania treści. Te znaczniki są określone w nagłówku pliku HTML.

Ta metoda jest powszechnie używana przez programistów, którzy nie mają dostępu do katalogu głównego witryny.

2. Wyłącz dostęp do botów na jedną stronę. Indeksowanie stron i / lub logowanie na stronie na stronie możesz zakazać wszystkich botów. Ten znacznik jest zwykle używany, gdy strona jest w trakcie rozwoju. Po zakończeniu witryny zdecydowanie zaleca się usunięcie tego znacznika. Jeśli nie wyjmujesz tagu, strona nie będzie indeksowana ani dostępna do wyszukiwania przez wyszukiwarki.

Wyłącz boty, aby indeksować stronę i poruszać się na dowolnym łącze:

 Nazwa = "Roboty" Content = "NoIndex, Nofollow">

Wyłącz wszystkie boty do indeksu:

 Nazwa = "roboty" Content = "Noindex">

Zabraj wszystkie boty, aby przejść na linki na stronie:

 Nazwa = "Roboty" Content = "Nofollow">

3. Pozwól botom indeksować stronę, ale nie idź do swoich linków. Jeśli pozwolisz boty indeksować stronę, zostanie on indeksowany. Jeśli zamawiasz pająki do włączenia linków, sposób, w jaki zostanie zablokowany link z tej strony do innych. Włóż następującą linię kodu w tytule:

 Nazwa = "Roboty" Content = "Indeks, Nofollow">

cztery. Pozwól wyszukiwarkowym pająkom na linki, ale nie indeks strony. Jeśli pozwolisz boty poruszać się na linkach, linki ścieżki z tej strony do innych pozostaną otwarte. Jeśli wyłączysz boty do indeksu, nie pojawi się w indeksie. Włóż następującą linię kodu w tytule:

 Nazwa = "Robots" Content = "Noindex, Follow">

pięć. Blokujący link wychodzący. Aby ukryć jeden link na stronie, umieść znacznik Rel Wewnątrz odniesienia znacznika . Użyj tego znacznika, aby zablokować linki na innych stronach, które prowadzą do określonej strony, którą chcesz zablokować.

 href ="YouDomain.Html" Rel ="Nofollow"> Włóż link do zablokowanej strony

6. Zablokuj specyficzny pająk wyszukiwania. Zamiast blokować dostęp do strony dla wszystkich botów, ustaw zakaz skanowania i indeksowania strony tylko dla jednego bota. Aby to zrobić, zastąp słowo "roboty" w nazwie Metateg określonego bota. Przykłady: Googlebot, GoogleBot-News, GoogleBot-Image, Bingbot i Teoma.

 Nazwa = "Bingbot" Content = "NoIndex, Nofollow">

7. Popraw boty do skanowania i indeksowania strony. Jeśli chcesz upewnić się, że strona zostanie indeksowana, a linki przełączą się, dodaj rozdzielczość Meta Tag "Robots" do nagłówka. Użyj następującego kodu:

 Imię = "Robots" Content = "Indeks, Śledź">