Co je robots.txt2 min read

Reading Time: 1 minute

Robots.txt je textový soubor, který poskytuje vyhledávacím robotům informace o tom, jak mají procházet a indexovat vaše webové stránky. Tento soubor umožňuje nastavit omezení nebo povolení přístupu botům (crawlerům) na určité části vašeho webu.

Co je bot / crawler?

Crawlery jsou automatizované programy využívané vyhledávači k procházení obsahu webových stránek. Na základě těchto dat aktualizují indexy vyhledávání a zajišťují, aby uživatelé našli co nejrelevantnější informace.

Jak robots.txt funguje?

Soubor robots.txt je uložen ve formátu .TXT a může být vytvořen v jakémkoli textovém editoru. Tento soubor je prvním, který crawler na webu navštíví. Pokud neexistuje, crawler pokračuje v procházení všech podstránek webu.

Robots.txt se často používá k:

• Omezení přístupu na citlivé části webu, jako je administrace.
• Zabránění nežádoucí indexace stránek.

Struktura robots.txt

• User-agent: Tento řádek specifikuje, pro kterého bota jsou pravidla určena. Například „Googlebot“ pro robota vyhledávače Google.
• Disallow: Uvádí cestu k URL, ke které chcete zamezit přístup.
• Allow: Povolení přístupu na konkrétní podstránku, i když nadřazená stránka je zakázána.
• Sitemap: Slouží k uvedení cesty k vaší Sitemapě, aby ji vyhledávací roboti mohli snadno nalézt.

Příklady zápisů v robots.txt

1. Povolení přístupu všem botům:

   User-agent: *
   Disallow:

   Tento zápis znamená, že všichni boti mají přístup ke všem stránkám webu.

2. Zákaz přístupu všem botům:

   User-agent: *
   Disallow: /

   Tento zápis zakazuje všem botům přístup na celý web.

3. Omezení přístupu pro Googlebot:

   User-agent: Googlebot
   Disallow: /administration/

   Zde je přístup zakázán pouze pro robota Google na stránky s URL /administration/.

Jak ověřit funkčnost robots.txt?

Funkčnost souboru robots.txt lze snadno ověřit pomocí testovacího nástroje od společnosti Google. Tento nástroj je součástí služby Google Search Console.

1. Přidejte svou doménu do Google Search Console. Návod na přidání pomocí DNS záznamu najdete v dokumentaci GSC.
2. Použijte funkci pro testování robots.txt, která vám ukáže, zda jsou vaše pravidla nastavena správně a jak se boti budou chovat při procházení vašeho webu.