SEO a SEM

Meta robots

Meta robots tag

Meta robots je HTML prvek, který robotům vyhledávačů předává pokyny k indexaci stránky, procházení odkazů a zobrazování obsahu ve výsledcích.

Meta robots

Co je Meta robots?

Meta robots je HTML prvek umístěný v sekci <head> stránky. Robotům vyhledávačů, například Googlebotu, předává pokyny, jak mají zacházet s konkrétní podstránkou. Lze pomocí něj určit, zda má být URL indexována, zda má robot následovat odkazy a které části obsahu se mohou zobrazit ve výsledcích vyhledávání.

Příklad zápisu:

<meta name='robots' content='index, follow'>

Meta robots je součástí technického SEO a pomáhá řídit viditelnost jednotlivých URL. V praxi se používá například u přihlašovacích stránek, košíků, výsledků filtrování, testovacích podstránek, duplicitního obsahu a dalších adres, které nemají být v indexu vyhledávače.

Jak meta robots funguje?

Pokyn platí pro jeden HTML dokument. Robot vyhledávače načte tag při analýze kódu stránky a podle něj rozhodne, zda ji může zařadit do indexu a jak má zacházet s odkazy, které se na ní nacházejí.

Příklad:

<meta name='robots' content='noindex, nofollow'>

Tento zápis informuje vyhledávač, že stránka nemá být indexována a robot nemá následovat odkazy na dané podstránce. Direktiva noindex však může fungovat pouze tehdy, když robot dokáže stránku načíst a přečíst její kód. Zablokování stejné URL v souboru robots.txt může přečtení tagu znemožnit.

Výchozí chování vyhledávačů se obvykle blíží hodnotám index, follow, takže není nutné tyto hodnoty přidávat ke každé stránce. Meta robots se používá především tehdy, když jsou potřeba nestandardní omezení.

Nejdůležitější direktivy Meta robots

  • index - umožňuje vyhledávači stránku indexovat.
  • noindex - určuje, že stránka nemá být zobrazena ve výsledcích vyhledávání.
  • follow - umožňuje robotovi následovat odkazy na stránce.
  • nofollow - robot nemá následovat odkazy z dané podstránky.
  • noarchive - omezuje zobrazení uložené kopie stránky.
  • nosnippet - zakazuje zobrazení úryvku obsahu nebo náhledu ve výsledcích.
  • max-snippet - určuje maximální délku textového úryvku ve výsledcích.
  • max-image-preview - omezuje velikost náhledů obrázků ve výsledcích.

Hodnoty lze kombinovat a oddělit čárkami:

<meta name='robots' content='noindex, follow, max-snippet:160'>

To znamená, že stránka nemá být indexována, robot může následovat její odkazy a textový úryvek ve výsledcích může mít nejvýše 160 znaků.

Meta robots a robots.txt

Meta robots a robots.txt slouží ke komunikaci s roboty, ale plní odlišné funkce.

  • robots.txt je soubor umístěný v kořenovém adresáři domény. Určuje, ke kterým cestám může robot přistupovat.
  • Meta robots funguje v kódu konkrétní podstránky a určuje, jak s ní má vyhledávač zacházet po jejím načtení.

Pokud je cílem odstranit stránku z indexu, bývá lepším řešením HTML dokument dostupný robotům s direktivou noindex. Samotné zablokování adresy v robots.txt nezaručuje její odstranění z výsledků vyhledávání.

Kde se Meta robots používá?

Tag je užitečný například pro:

  • přihlašovací, registrační a uživatelské stránky,
  • košíky a technické kroky nákupního procesu,
  • interní výsledky vyhledávání a filtrování,
  • podstránky s duplicitním nebo dočasným obsahem,
  • testovací prostředí a pracovní verze,
  • adresy generované dynamicky pomocí URL parametrů,
  • stránky dostupné přímo, které však nemají být viditelné v Google.

U velkých webů je správná správa těchto direktiv součástí auditu růstu a optimalizace konverzí a kontroly indexace v rámci technického SEO.

Meta robots v CMS a webových aplikacích

CMS by měl redaktorům umožnit nastavovat indexační direktivy pro jednotlivé stránky a zároveň chránit konfiguraci před náhodným označením celého webu jako noindex. To je důležité zejména u rozsáhlých portálů, e-shopů a vícejazyčných webů.

V projektech založených na TYPO3 lze nastavení Meta robots generovat z konfigurace stránky, redakčních polí nebo SEO rozšíření. Při tvorbě aplikací a portálů v TYPO3 je třeba ověřit, že se direktivy správně předávají do každé jazykové verze a nejsou přepsány šablonami, cache nebo směrovací logikou. Stejnou pozornost vyžadují webové aplikace a SaaS platformy, které generují URL dynamicky.

Nejčastější chyby

Mezi běžné problémy patří:

  1. náhodné nastavení noindex na stránkách, které mají být viditelné v Google,
  2. blokování URL s direktivou noindex v robots.txt,
  3. používání nofollow jako náhrady kontroly indexace,
  4. generování protichůdných pokynů v kódu stránky a HTTP hlavičce,
  5. chybějící kontrola nastavení po nasazení změn v CMS nebo aplikaci,
  6. ponechání noindex na produkční verzi po dokončení testování.

Meta robots by měl být součástí širší strategie indexace, která zahrnuje také strukturu URL, interní prolinkování, XML sitemapu, kanonické URL a konfiguraci robots.txt. Díky tomu lze přesně řídit viditelnost obsahu bez zbytečného omezení přístupu k hodnotným podstránkám.