Robots.txt útmutató

Robots.txt útmutató – minden, amit tudnod kell a helyes beállításról 2026-ban

Mi az a robots.txt, hogyan működik, mire használható és milyen hibákat érdemes elkerülni. Részletes útmutató példákkal, SEO és AI keresőoptimalizálási tanácsokkal.

A Google és az AI keresők minden nap robotok millióit küldik ki az internetre, hogy feltérképezzék a weboldalakat. Mielőtt azonban ezek a crawlerek egyetlen oldalt is megnyitnának, szinte mindig ugyanazzal kezdik: megkeresik a robots.txt fájlt. Ez az apró, néhány soros állomány első pillantásra jelentéktelennek tűnhet, valójában azonban alapvetően befolyásolja, hogy a keresőrobotok mely oldalakat járhatják be, melyeket hagyják figyelmen kívül, és mennyire hatékonyan használják fel a weboldalad feltérképezésére rendelkezésre álló erőforrásaikat.

Sokan még ma is úgy gondolják, hogy a robots.txt csupán egy egyszer beállítandó technikai fájl, amellyel nem érdemes többet foglalkozni. A valóság azonban ennél jóval összetettebb. Egy rosszul megírt szabály akár az egész weboldalad organikus láthatóságát is veszélybe sodorhatja, míg egy átgondolt beállítás segíthet abban, hogy a Google, a Bing és az egyre fontosabb AI crawlerek gyorsabban és hatékonyabban dolgozzák fel a tartalmaidat.

Az elmúlt években a robots.txt szerepe tovább erősödött. Már nemcsak a hagyományos keresőmotorok, hanem olyan mesterséges intelligencián alapuló rendszerek is figyelik, mint a ChatGPT, a Google AI szolgáltatásai, a Perplexity vagy más AI-alapú keresők és asszisztensek. Emiatt ma már nem elég kizárólag a klasszikus SEO szempontjait figyelembe venni: azt is át kell gondolnod, hogy milyen robotokat szeretnél támogatni, és melyek számára szeretnéd korlátozni a hozzáférést.

Ebben az útmutatóban lépésről lépésre megmutatom, mi az a robots.txt, hogyan működik, milyen szabályokat használhatsz, mely hibákat kell feltétlenül elkerülnöd, és hogyan készíthetsz olyan beállításokat, amelyek a modern SEO és az AI keresőoptimalizálás követelményeinek is megfelelnek. Rengeteg gyakorlati példát, összehasonlító táblázatot és bevált módszert is találsz, így a cikk végére magabiztosan fogod tudni kezelni weboldalad egyik legfontosabb technikai SEO elemét.

Tartalomjegyzék

1. Mi az a robots.txt?
2. Miért fontos a robots.txt napjainkban?
3. Hogyan működik a robots.txt fájl?
4. Hol található a robots.txt és hogyan érhető el?
5. Milyen szabályokat lehet megadni?
6. User-agent, Disallow, Allow és Sitemap magyarázata
7. Robots.txt és a Googlebot kapcsolata
8. Robots.txt és AI crawlerek
9. Robots.txt vagy meta robots? Mi a különbség?
10. Milyen oldalakat nem érdemes letiltani?
11. Gyakori robots.txt hibák
12. Robots.txt példák különböző weboldalakhoz
13. Hogyan ellenőrizd a robots.txt működését?
14. Robots.txt optimalizálási ellenőrző lista
15. Összegzés
16. GYIK ❓

Mi az a robots.txt?

A robots.txt egy egyszerű szöveges fájl, amely a weboldalad gyökérkönyvtárában található, és elsődleges feladata, hogy útmutatást adjon a keresőrobotoknak arról, mely oldalakat és könyvtárakat térképezhetik fel, illetve melyeket érdemes kihagyniuk. Amikor egy Googlebot, Bingbot vagy egy AI crawler először meglátogatja a weboldaladat, az egyik első művelete, hogy megpróbálja letölteni a robots.txt fájlt. Az itt található szabályok alapján dönti el, merre induljon tovább.

Fontos megérteni, hogy a robots.txt nem biztonsági eszköz, hanem egy ajánlás a jóindulatú robotok számára. A nagy keresőmotorok – például a Google vagy a Bing – tiszteletben tartják a benne szereplő utasításokat, azonban egy rosszindulatú robot vagy adatgyűjtő figyelmen kívül hagyhatja őket. Emiatt érzékeny adatokat vagy bizalmas oldalakat soha nem szabad kizárólag robots.txt segítségével védeni.

Egy megfelelően beállított robots.txt segít abban, hogy a keresőrobotok a valóban fontos tartalmaidra koncentráljanak, miközben elkerülik az adminisztrációs felületeket, tesztoldalakat vagy más olyan URL-eket, amelyeknek nincs jelentőségük a keresőoptimalizálás szempontjából. Ez különösen nagy weboldalak és webáruházak esetében fontos, ahol akár több tízezer vagy több százezer oldal is létezhet.

Egy egyszerű robots.txt fájl például így nézhet ki:

User-agent: *
Disallow: /wp-admin/

Sitemap: https://pelda.hu/sitemap.xml

Ebben a példában:

• User-agent: * azt jelenti, hogy a szabály minden keresőrobotra érvényes.
• Disallow: /wp-admin/ megakadályozza, hogy a robotok feltérképezzék a WordPress adminisztrációs felületét.
• Sitemap megadja a webhelytérkép helyét, így a robotok könnyebben megtalálják a fontos oldalakat.

Miért készült a robots.txt?

A robots.txt szabvány eredeti célja az volt, hogy a weboldal tulajdonosai irányítani tudják a keresőrobotok működését. Az internet növekedésével egyre több automatikus robot kezdte feltérképezni a weboldalakat, ezért szükség volt egy egyszerű, mindenki által értelmezhető megoldásra, amellyel jelezhető, hogy mely tartalmak érdekesek a keresők számára, és melyek nem.

Napjainkban a robots.txt már nemcsak a hagyományos keresőoptimalizálás része. Az AI-alapú keresők és nyelvi modellek megjelenésével még nagyobb szerepet kapott, hiszen számos mesterséges intelligencia is ezt a fájlt vizsgálja meg elsőként, mielőtt feltérképezné a weboldalt.

Mire nem alkalmas a robots.txt?

Sokan tévesen azt gondolják, hogy a robots.txt segítségével teljesen el lehet rejteni oldalakat a nyilvánosság elől. Ez azonban nem igaz.

A robots.txt nem alkalmas:

• bizalmas dokumentumok védelmére,
• jelszóval nem védett fájlok elrejtésére,
• az indexelés teljes megakadályozására minden esetben,
• szerveroldali hozzáférés-szabályozásra,
• rosszindulatú robotok kizárására.

Ha valóban el szeretnél rejteni egy oldalt a keresőkből, akkor a noindex meta tag, megfelelő hitelesítés vagy szerveroldali hozzáférés-védelem sokkal biztonságosabb megoldást jelent.

Összességében a robots.txt egy apró, mégis rendkívül fontos technikai SEO elem. Bár csupán néhány sorból állhat, helyes használata jelentősen hozzájárulhat ahhoz, hogy a Google és az AI crawlerek gyorsabban, hatékonyabban és a számodra legfontosabb tartalmakra összpontosítva térképezzék fel a weboldaladat.

Miért fontos a robots.txt napjainkban?

Régebben a robots.txt főként arra szolgált, hogy a Google és más keresőmotorok robotjainak megmutassa, mely oldalakat érdemes feltérképezni, és melyeket nem. Bár ez a feladata ma is megmaradt, 2026-ban már sokkal nagyobb szerepet tölt be, hiszen a hagyományos keresők mellett egyre több AI-alapú rendszer is rendszeresen vizsgálja a weboldalakat.

A modern weboldalak sokkal összetettebbek, mint néhány évvel ezelőtt. Egy WordPress oldal, egy webáruház vagy egy nagy vállalati honlap akár több tízezer URL-t is tartalmazhat. Ezek között rengeteg olyan oldal található, amelynek sem a látogatók, sem a keresőmotorok számára nincs valódi értéke. Ha a robotok ezeket is végigjárják, feleslegesen pazarolják az idejüket, miközben a fontos tartalmak később kerülhetnek feltérképezésre.

Egy jól felépített robots.txt fájl segít abban, hogy a keresőrobotok a valóban értékes oldalakra koncentráljanak, így hatékonyabbá válik az egész weboldal feltérképezése.

Miért lett fontosabb az AI korszakában?

A keresőoptimalizálás már nem kizárólag a Google-ről szól. Az elmúlt években megjelentek azok az AI-alapú keresők és asszisztensek, amelyek szintén rendszeresen vizsgálják a weboldalakat, hogy naprakész információkat gyűjtsenek.

Ma már nemcsak a következő robotok látogatják a honlapokat:

• Googlebot
• Bingbot

hanem többek között:

• OpenAI crawler-ek
• Google-Extended
• ClaudeBot
• PerplexityBot
• Common Crawl
• más AI adatgyűjtő robotok

Ezek a rendszerek gyakran ugyanúgy a robots.txt fájl alapján döntik el, hogy mely tartalmakat térképezhetik fel. Emiatt egy rosszul konfigurált robots.txt nemcsak a Google-ben okozhat problémát, hanem azt is befolyásolhatja, hogy egy AI rendszer mennyire ismeri meg a weboldaladat.

Ha például egy SEO-val foglalkozó oldal véletlenül kizárja az AI crawlereket, előfordulhat, hogy a tartalma ritkábban jelenik meg AI-ajánlásokban vagy összefoglalókban. Hasonlóan egy menyasszonyi ruhaszalon, egy kertészeti blog vagy egy villanyszerelő szolgáltató is elveszíthet olyan megjelenési lehetőségeket, amelyek egyre fontosabb forgalmi forrást jelentenek.

Hogyan segíti a weboldal teljesítményét?

A robots.txt egyik legnagyobb előnye, hogy segít optimalizálni a crawl budgetet, vagyis azt az erőforrást, amelyet a keresőmotorok a weboldalad feltérképezésére fordítanak.

Ez különösen fontos:

• nagy webáruházaknál,
• több ezer cikket tartalmazó blogoknál,
• híroldalaknál,
• összetett vállalati weboldalaknál.

Ha például egy kertészeti weboldalon több száz szűrési oldal, keresési eredmény és címkeoldal is létezik, ezek feltérképezése rengeteg időt vehet el a robotoktól. Egy jól beállított robots.txt segítségével ezek kizárhatók, így a robotok hamarabb jutnak el a friss növényismertetőkhöz vagy a szezonális gondozási útmutatókhoz.

Ugyanez igaz egy klímatechnikai cég honlapjára is. Sok esetben nincs értelme, hogy a keresőrobotok a belső keresőoldalakat, szűrőket vagy ideiglenes tesztoldalakat járják végig, miközben az új szolgáltatási oldalak vagy szakmai cikkek még feltérképezésre várnak.

Milyen előnyöket nyújt egy jól beállított robots.txt?

A megfelelő robots.txt használata számos közvetett és közvetlen előnnyel járhat.

Nem csodaszer, de alapvető technikai SEO elem

Fontos hangsúlyozni, hogy a robots.txt önmagában nem javítja a helyezéseidet a Google-ben, és nem helyettesíti a minőségi tartalmat vagy a megfelelő technikai SEO-t. Ugyanakkor egy rosszul beállított fájl komoly károkat okozhat: előfordulhat, hogy értékes oldalak kimaradnak a feltérképezésből, vagy a robotok rengeteg időt pazarolnak lényegtelen URL-ekre.

Ezért a robots.txt-t érdemes úgy kezelni, mint a weboldalad forgalomirányító tábláját. Nem ő végzi el helyetted a munkát, de megmutatja a keresőrobotoknak a legjobb útvonalat. Ha megfelelően állítod be, a Google és az AI rendszerek gyorsabban, hatékonyabban és nagyobb pontossággal dolgozhatják fel a weboldalad tartalmát, ami hosszú távon a keresőoptimalizálás és az AI láthatóság szempontjából is előnyt jelenthet.

Hogyan működik a robots.txt fájl?

A robots.txt működése valójában nagyon egyszerű, mégis rendkívül fontos szerepet játszik a keresőoptimalizálásban. Amikor egy keresőrobot – például a Googlebot vagy egy AI crawler – először meglátogat egy weboldalt, nem rögtön a kezdőlapot kezdi elemezni, hanem először megpróbálja letölteni a robots.txt fájlt.

Ez a fájl tulajdonképpen egy útmutató a robot számára. A benne szereplő szabályok alapján eldönti, hogy mely könyvtárakat, oldalakat vagy fájlokat térképezheti fel, és melyeket kell kihagynia. Ha a robot talál rá vonatkozó szabályt, azt figyelembe veszi, majd ezek alapján folytatja a weboldal bejárását.

Fontos azonban tudni, hogy a robots.txt a feltérképezést szabályozza, nem pedig az indexelést. Ez azt jelenti, hogy egy oldal bizonyos esetekben akkor is megjelenhet a Google találatai között, ha a robot nem térképezhette fel a tartalmát. Erre később részletesen is kitérünk.

Mi történik, amikor egy robot megérkezik?

A keresőrobotok szinte minden esetben ugyanazt a folyamatot követik.

1. Megnyitják a weboldal fődomainjét.
2. Megpróbálják letölteni a https://domain.hu/robots.txt fájlt.
3. Kiolvassák a számukra érvényes szabályokat.
4. Eldöntik, mely URL-eket látogathatják meg.
5. Megkezdik a weboldal feltérképezését.

A folyamat rendkívül gyors, és minden új feltérképezés alkalmával megismétlődhet. Ha módosítod a robots.txt fájlt, a keresőrobotok a következő látogatáskor már az új szabályokat fogják figyelembe venni.

Hogyan értelmezi a robot a szabályokat?

A robots.txt soronként tartalmazza az utasításokat. A robot mindig azt vizsgálja meg, hogy melyik szabály vonatkozik rá, majd ennek megfelelően jár el.

Egy egyszerű példa:

User-agent: *
Disallow: /admin/
Allow: /admin/ajax/

Sitemap: https://pelda.hu/sitemap.xml

Ebben az esetben:

• minden robotra érvényesek a szabályok (User-agent: *);
• az /admin/ könyvtár nem térképezhető fel;
• az /admin/ajax/ mappa viszont kivételt képez, ezért azt bejárhatják;
• a robot megtalálja a webhelytérképet is.

A robot mindig a lehető legpontosabb szabályt próbálja alkalmazni. Ha több szabály is illeszkedik ugyanarra az URL-re, akkor a részletesebb vagy hosszabb egyezés általában elsőbbséget élvez.

Mi történik, ha nincs robots.txt?

Ez az egyik leggyakoribb kérdés.

Ha egy weboldalon egyáltalán nincs robots.txt fájl, nem történik semmilyen hiba. A keresőrobotok ilyenkor úgy tekintik, hogy nincs korlátozás, ezért szabadon feltérképezhetik az egész weboldalt.

Ez kisebb honlapok esetében akár megfelelő is lehet, azonban nagyobb weboldalaknál már problémákat okozhat. Egy webáruházban például a robotok rengeteg szűrőoldalt, keresési találatot vagy paraméterezett URL-t is végigjárhatnak, amelyeknek nincs valódi SEO-értékük. Ez feleslegesen terheli a crawl budgetet, miközben az új termékoldalak vagy fontos kategóriák később kerülhetnek sorra.

Mi történik, ha hibás a robots.txt?

Egy hibás robots.txt sokkal nagyobb problémát okozhat, mint egy hiányzó.

Előfordulhat például, hogy egyetlen rossz sor miatt a teljes weboldal feltérképezése leáll.

Például:

User-agent: *
Disallow: /

Ez azt jelenti, hogy minden keresőrobot számára tiltott a teljes weboldal, vagyis egyetlen oldal sem térképezhető fel. Egy ilyen hiba gyakran fejlesztés vagy tesztelés közben marad bent véletlenül, és komoly organikus forgalomcsökkenést okozhat.

Hogyan működik ez a gyakorlatban?

Képzeld el, hogy egy SEO-val foglalkozó weboldalon új cikk jelenik meg az AI keresőoptimalizálásról. A Googlebot először elolvassa a robots.txt fájlt. Ha semmi sem tiltja a blog könyvtárát, akkor feltérképezi az új cikket, elemzi a tartalmát, majd később eldönti, hogy mikor és hogyan jelenjen meg a keresési találatok között.

Egy másik példában egy menyasszonyi ruhaszalon weboldalán létezik egy belső kereső, amely több ezer automatikusan generált URL-t hoz létre. Ezeknek nincs valódi értékük a látogatók számára, ezért a robots.txt segítségével kizárhatók a feltérképezésből. Így a robotok több időt tölthetnek a menyasszonyi ruha kollekciók, szolgáltatási oldalak és blogbejegyzések bejárásával.

Hasonló a helyzet egy kertészeti oldalon is. Ha minden szűrési oldal és címkeoldal szabadon bejárható, a robotok rengeteg időt pazarolnak kevésbé hasznos URL-ekre. Egy jól felépített robots.txt viszont segít abban, hogy inkább a növényismertetők, gondozási útmutatók és szezonális cikkek kerüljenek előtérbe.

A robots.txt működésének legfontosabb jellemzői

A robots.txt tehát egy egyszerű, de rendkívül fontos kommunikációs eszköz a weboldalad és a keresőrobotok között. Megmutatja, merre érdemes haladniuk, és mely területeket hagyják ki, így hozzájárul a hatékonyabb feltérképezéshez, a crawl budget jobb kihasználásához és ahhoz, hogy a valóban értékes tartalmaid gyorsabban eljussanak a Google, valamint az AI-alapú keresőrendszerek látóterébe.

Hol található a robots.txt és hogyan érhető el?

A robots.txt fájl mindig a weboldal gyökérkönyvtárában (root könyvtárában) található. Ez azt jelenti, hogy közvetlenül a domain után érhető el, nem pedig egy almappában vagy külön könyvtárban. A keresőrobotok pontosan ezen a helyen keresik először, ezért ha máshová helyezed el, egyszerűen nem fogják megtalálni.

A robots.txt elérési útja minden weboldalon ugyanazt a logikát követi:

https://domain.hu/robots.txt

Például:

https://honlapseo.hu/robots.txt

vagy

https://webshop.hu/robots.txt

Amikor a Googlebot, Bingbot vagy egy AI crawler meglátogatja a weboldaladat, automatikusan megpróbálja letölteni ezt az URL-t. Ha a fájl létezik, feldolgozza a benne található szabályokat. Ha nem találja, akkor úgy tekinti, hogy nincs feltérképezési korlátozás, és szabadon bejárhatja a weboldalt.

Miért kell a gyökérkönyvtárban lennie?

A Robots Exclusion Protocol szabvány egyértelműen meghatározza, hogy a robots.txt fájl kizárólag a domain gyökérkönyvtárából olvasható be. A keresőrobotok nem keresik más mappákban, ezért például az alábbi elérési utak nem működnek:

❌ Nem megfelelő:

https://domain.hu/seo/robots.txt

https://domain.hu/fajlok/robots.txt

https://domain.hu/wp-content/robots.txt

✔️ Helyes:

https://domain.hu/robots.txt

Ha a fájl nem a megfelelő helyen található, a keresőrobotok figyelmen kívül hagyják, és úgy kezelik a weboldalt, mintha egyáltalán nem lenne robots.txt.

Hogyan ellenőrizheted, hogy elérhető-e?

A legegyszerűbb módszer, ha beírod a böngésző címsorába:

https://sajatdomain.hu/robots.txt

Ha minden rendben van, egy egyszerű szöveges fájl jelenik meg, amely tartalmazza a beállított szabályokat.

Például:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://domain.hu/sitemap.xml

Ha viszont 404-es hiba, 403-as hiba vagy más hibaüzenet jelenik meg, akkor a robots.txt vagy nem létezik, vagy nem érhető el megfelelően.

Hogyan hozhatod létre?

A robots.txt egy teljesen hagyományos szövegfájl (.txt), amelyet szinte bármilyen szövegszerkesztővel elkészíthetsz.

Lehetséges megoldások:

• Jegyzettömb (Windows)
• Visual Studio Code
• Notepad++
• FTP-n keresztüli szerkesztés
• tárhelykezelő fájlkezelője
• WordPress SEO bővítmények (például Yoast SEO vagy Rank Math)

A létrehozott fájlt ezután a weboldal gyökérkönyvtárába kell feltölteni.

WordPress weboldalakon hol található?

WordPress esetén több lehetőség is van.

Ha fizikai robots.txt fájlt használsz, akkor az általában a következő helyen található:

public_html/robots.txt

vagy

www/robots.txt

Ez a tárhelyszolgáltatótól függ.

Bizonyos SEO bővítmények azonban virtuális robots.txt fájlt is létrehozhatnak. Ebben az esetben nincs tényleges fájl a szerveren, mégis megjelenik a böngészőben, mert a WordPress dinamikusan állítja elő.

Ez kisebb weboldalaknál megfelelő lehet, de ha részletes szabályokat szeretnél használni vagy AI crawlereket is szabályoznál, általában célszerű saját robots.txt fájlt létrehozni.

Milyen követelményeknek kell megfelelnie?

A robots.txt fájl csak akkor működik megfelelően, ha néhány alapvető szabályt betartasz.

Mi történik több aldomain esetén?

Fontos tudni, hogy minden aldomain saját robots.txt fájllal rendelkezik.

Például:

Ez azt jelenti, hogy a fődomain robots.txt fájlja nem vonatkozik automatikusan a blogra vagy a webshop aldomainjére. Ha több aldomaint használsz, mindegyikhez külön robots.txt fájlt kell létrehoznod és karbantartanod.

Miért érdemes rendszeresen ellenőrizni?

Sok weboldalon előfordul, hogy egy fejlesztés, bővítményfrissítés vagy szerverköltözés után a robots.txt véletlenül módosul vagy eltűnik. Ennek következtében a keresőrobotok nem a kívánt szabályok szerint dolgoznak, ami akár a weboldal láthatóságára is hatással lehet.

Ezért érdemes időnként ellenőrizni, hogy:

• a robots.txt továbbra is elérhető;
• a megfelelő helyen található;
• nem tartalmaz véletlen tiltásokat;
• szerepel benne a webhelytérkép (sitemap) hivatkozása;
• a legutóbbi weboldal-fejlesztések után is naprakész.

Bár a robots.txt mindössze egy apró szövegfájl, a helye és elérhetősége kulcsfontosságú. Ha nem a megfelelő helyen található, vagy nem érhető el hibamentesen, a keresőrobotok egyszerűen figyelmen kívül hagyják, és a benne megadott szabályok egyáltalán nem érvényesülnek. Ezért a technikai SEO egyik alapvető ellenőrzési pontja mindig az, hogy a https://domain.hu/robots.txt URL megfelelően működik-e.

Milyen szabályokat lehet megadni?

A robots.txt fájl néhány egyszerű, mégis rendkívül hasznos utasításból épül fel. Ezekkel meghatározhatod, hogy mely keresőrobotokra vonatkozzanak a szabályok, mely oldalakat járhatják be, melyeket hagyják ki, valamint hol találják meg a webhelytérképet (XML sitemap).

Bár a robots.txt szintaxisa első ránézésre bonyolultnak tűnhet, valójában néhány alapvető direktíva ismeretével már a legtöbb weboldal megfelelően konfigurálható.

A legfontosabb robots.txt direktívák

A legtöbb weboldalon kizárólag ez a négy direktíva elegendő a megfelelő működéshez.

User-agent – melyik robotra vonatkozik a szabály?

A User-agent sorban adhatod meg, hogy mely keresőrobot számára írod az utána következő szabályokat.

Ha minden robotra ugyanazokat az utasításokat szeretnéd alkalmazni, akkor csillagot (*) használhatsz.

Például:

User-agent: *

Ez azt jelenti, hogy a szabályok minden olyan robotra érvényesek, amely támogatja a robots.txt szabványt.

Lehetőség van egyetlen robot célzott szabályozására is.

Például:

User-agent: Googlebot

vagy

User-agent: GPTBot

Ilyenkor csak az adott robot veszi figyelembe az utána következő utasításokat.

Disallow – mely oldalakat ne térképezze fel?

A Disallow a robots.txt legismertebb direktívája. Segítségével megadhatod, hogy mely könyvtárakat vagy URL-eket hagyják ki a keresőrobotok.

Például:

User-agent: *
Disallow: /admin/

Ebben az esetben az /admin/ mappa teljes tartalma kimarad a feltérképezésből.

Letilthatsz egyetlen oldalt is:

Disallow: /kosar.html

vagy egy teljes könyvtárat:

Disallow: /teszt/

A Disallow használata különösen hasznos olyan területeken, amelyeknek nincs SEO-értékük, például:

• adminisztrációs felületek,
• ideiglenes tesztoldalak,
• belső keresési eredmények,
• szűrőoldalak,
• rendszerkönyvtárak.

Allow – kivételek megadása

Előfordulhat, hogy egy könyvtár nagy részét szeretnéd kizárni, de egy adott fájlt vagy almappát mégis elérhetővé tennél.

Erre szolgál az Allow direktíva.

Például:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Ebben az esetben a teljes WordPress adminfelület tiltott, kivéve az admin-ajax.php fájlt, amelyre számos WordPress funkció épül.

Ez egy gyakran alkalmazott és ajánlott megoldás WordPress weboldalakon.

Sitemap – segítség a keresőrobotoknak

A robots.txt fájl végén általában szerepel a webhelytérkép hivatkozása.

Például:

Sitemap: https://domain.hu/sitemap.xml

Ez nem tiltás vagy engedélyezés, hanem egy ajánlás, amely megmutatja a keresőrobotoknak, hol találják a weboldal legfontosabb URL-jeit tartalmazó XML sitemapet.

Ennek előnyei:

• gyorsabb feltérképezés,
• egyszerűbb URL-felfedezés,
• új oldalak gyorsabb észlelése,
• jobb együttműködés a keresőmotorokkal.

Wildcard karakterek használata

A robots.txt nemcsak konkrét URL-eket tud kezelni, hanem minták alapján is működhet. Ehhez két speciális karakter használható.

A csillag (*)

A * bármilyen karaktersorozatot helyettesíthet.

Például:

Disallow: /*?

Ez minden olyan URL-t letilt, amely kérdőjelet tartalmaz, vagyis paraméterezett URL-eket.

Ez hasznos lehet például webáruházaknál, ahol sok szűrési URL keletkezik.

A dollárjel ($)

A $ azt jelzi, hogy az egyezésnek az URL végére kell illeszkednie.

Például:

Disallow: /*.pdf$

Ez kizárólag a PDF fájlok feltérképezését tiltja.

Más fájltípusokra is alkalmazható:

Disallow: /*.zip$

vagy

Disallow: /*.docx$

Több szabály is megadható egyszerre

A robots.txt egyik előnye, hogy több robot számára külön szabályokat is készíthetsz.

Például:

User-agent: Googlebot
Disallow:

User-agent: GPTBot
Disallow: /premium/

User-agent: *
Disallow: /admin/

Sitemap: https://domain.hu/sitemap.xml

Ebben a példában:

• a Googlebot minden oldalt bejárhat;
• a GPTBot nem érheti el a /premium/ könyvtárat;
• minden más robot számára tiltott az /admin/ mappa;
• minden robot megtalálja az XML webhelytérképet.

Mely szabályokat használják a legtöbb weboldalon?

A legtöbb vállalati honlap, blog vagy szolgáltatói oldal esetében nincs szükség bonyolult robots.txt fájlra.

Általában elegendő:

• meghatározni a robotokat (User-agent);
• kizárni az adminfelületet (Disallow);
• szükség esetén kivételt létrehozni (Allow);
• megadni az XML sitemap helyét (Sitemap).

A túl sok szabály gyakran csak bonyolultabbá teszi a karbantartást, és növeli a hibalehetőségek számát.

Érdemes arra törekedni, hogy a robots.txt egyszerű, átlátható és könnyen karbantartható maradjon. Egy rövid, jól megtervezett fájl sokkal hatékonyabb lehet, mint egy több száz soros, nehezen követhető szabálygyűjtemény. A cél nem az, hogy minden URL-t külön szabályozz, hanem az, hogy a keresőrobotok számára világos iránymutatást adj arról, mely tartalmak a legfontosabbak a weboldaladon.

User-agent, Disallow, Allow és Sitemap részletes magyarázata

A robots.txt fájl néhány egyszerű utasításból épül fel, mégis ezek határozzák meg, hogyan kommunikál a weboldalad a keresőrobotokkal. Bár első ránézésre technikai jellegűek, a működésük könnyen megérthető, ha tudod, hogy mindegyik direktívának más a feladata.

A legtöbb weboldal esetében négy utasítás elegendő a megfelelő működéshez:

• User-agent
• Disallow
• Allow
• Sitemap

Ha ezeket helyesen használod, a Google és az AI crawlerek sokkal hatékonyabban tudják feltérképezni a weboldalad fontos tartalmait.

User-agent – melyik robotnak szól a szabály?

A User-agent direktíva határozza meg, hogy az utána következő szabályok mely keresőrobotra vonatkoznak.

A legismertebb megoldás:

User-agent: *

A csillag (*) azt jelenti, hogy minden keresőrobot ugyanazokat a szabályokat alkalmazza.

Ha viszont csak egy adott robotot szeretnél szabályozni, akkor annak a nevét kell megadnod.

Például:

User-agent: Googlebot

vagy

User-agent: Bingbot

vagy

User-agent: GPTBot

Ebben az esetben csak az adott crawler veszi figyelembe az utána következő utasításokat.

Ez akkor lehet hasznos, ha például szeretnéd, hogy a Google minden tartalmadat feltérképezze, de bizonyos AI robotokat korlátoznál egyes könyvtárak elérésében.

Mikor érdemes külön User-agent szabályokat használni?

Néhány tipikus példa:

• külön szabály az AI crawlerek számára;
• más beállítás a Googlebotnak és a Bingbotnak;
• fejlesztési vagy tesztkörnyezet szabályozása;
• speciális robotok kezelése nagy weboldalakon.

A legtöbb kisebb céges honlap esetében azonban elegendő a User-agent: * használata.

Disallow – mely oldalakat ne járja be a robot?

A Disallow a robots.txt legfontosabb utasítása. Segítségével megadhatod, hogy mely URL-eket vagy könyvtárakat ne térképezzék fel a keresőrobotok.

Például:

User-agent: *
Disallow: /admin/

Ebben az esetben a robotok nem lépnek be az admin könyvtárba.

Lehetőség van egyetlen oldal kizárására is.

Például:

Disallow: /kosar/

vagy

Disallow: /kereses/

A Disallow különösen hasznos:

• adminisztrációs felületeknél;
• belső keresési oldalaknál;
• szűrőoldalaknál;
• ideiglenes tesztoldalaknál;
• duplikált URL-eknél.

Mire figyelj?

Sokan összekeverik a feltérképezést az indexeléssel.

A Disallow nem azt jelenti, hogy az oldal biztosan nem jelenik meg a Google-ben, hanem azt, hogy a robot nem olvassa be a tartalmát. Ha egy másik weboldal hivatkozik erre az URL-re, bizonyos esetekben még így is megjelenhet a keresési találatok között.

Allow – kivételek létrehozása

Az Allow direktíva arra szolgál, hogy kivételt hozz létre egy tiltott könyvtáron belül.

Ez elsőre furcsának tűnhet, de számos esetben nagyon hasznos.

Például WordPress esetén gyakran ezt a megoldást alkalmazzák:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Ebben a példában:

• a teljes wp-admin könyvtár tiltott;
• kivételt képez az admin-ajax.php, amely számos WordPress funkció működéséhez szükséges.

Az Allow használatával pontosabban szabályozhatod, hogy a robotok mit érhetnek el.

Mikor hasznos az Allow?

Például:

• egy tiltott könyvtár egyetlen fájlját mégis szeretnéd engedélyezni;
• csak bizonyos képek legyenek elérhetők;
• egy API végpontot engedélyezni kell;
• WordPress admin-ajax használata.

A legtöbb weboldalon ritkábban van rá szükség, de bizonyos rendszereknél elengedhetetlen.

Sitemap – megmutatja a robotoknak a fontos oldalakat

A Sitemap direktíva nem tilt vagy engedélyez semmit.

Feladata csupán az, hogy megadja, hol található az XML webhelytérkép.

Például:

Sitemap: https://domain.hu/sitemap.xml

Ennek köszönhetően a keresőrobotok sokkal gyorsabban megtalálják a weboldal fontos URL-jeit.

Ez különösen hasznos:

• nagy blogoknál;
• webáruházaknál;
• több ezer oldalas weboldalaknál;
• gyakran frissülő tartalmaknál.

Ha például egy SEO blogon új cikk jelenik meg az AI keresőoptimalizálásról, a sitemap segíthet abban, hogy a Google hamarabb észrevegye az új URL-t.

Ugyanez igaz egy kertészeti oldalra, ahol tavasszal több tucat új növényismertető készül, vagy egy klímatechnikai cégre, amely rendszeresen bővíti szolgáltatásait.

Több sitemap is megadható

Ha a weboldalad több XML sitemapet használ, mindegyik megadható.

Például:

Sitemap: https://domain.hu/post-sitemap.xml
Sitemap: https://domain.hu/page-sitemap.xml
Sitemap: https://domain.hu/category-sitemap.xml

Ez teljesen szabványos megoldás.

A négy legfontosabb direktíva összehasonlítása

Egy jól felépített robots.txt példa

A legtöbb WordPress-alapú céges weboldal számára már egy egyszerű robots.txt is elegendő lehet:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://domain.hu/sitemap.xml

Ez a konfiguráció:

• minden keresőrobotra érvényes;
• kizárja az adminfelületet;
• biztosítja a WordPress megfelelő működéséhez szükséges kivételt;
• megmutatja a keresőrobotoknak az XML webhelytérképet.

A robots.txt akkor működik igazán jól, ha nem túl bonyolult, hanem világos és átgondolt. A legtöbb weboldalnak nincs szüksége több tucat szabályra. Sokkal fontosabb, hogy a négy alapvető direktívát megfelelően használd, hiszen ezek elegendőek ahhoz, hogy a Google és az AI crawlerek gyorsan, hatékonyan és a számodra legfontosabb tartalmakra összpontosítva térképezzék fel a weboldalad.

Robots.txt és a Googlebot kapcsolata

A Googlebot a Google hivatalos keresőrobotja, amely folyamatosan járja az internetet, hogy új oldalakat fedezzen fel, frissítse a már ismert tartalmakat, és eldöntse, mely weboldalak jelenjenek meg a Google keresési találatai között. Mielőtt azonban egyetlen oldalt is feltérképezne, szinte minden esetben ellenőrzi a weboldal robots.txt fájlját.

Ez a fájl az első kommunikációs pont a weboldalad és a Googlebot között. A benne található szabályok alapján a robot eldönti, hogy mely URL-eket látogathatja meg, melyeket hagyja ki, és hol találja meg a webhelytérképet (XML sitemap). Bár a robots.txt nem határozza meg közvetlenül a rangsorolást, jelentősen befolyásolja a feltérképezés hatékonyságát, ami közvetve a SEO eredményekre is hatással lehet.

Hogyan dolgozik a Googlebot?

A Googlebot működése több egymást követő lépésből áll.

1. Meglátogatja a domaint.
2. Letölti a robots.txt fájlt.
3. Kiértékeli a rá vonatkozó szabályokat.
4. Feltérképezi az engedélyezett URL-eket.
5. Feldolgozza a tartalmat.
6. Eldönti, hogy az oldal bekerüljön-e a Google indexébe.
7. Később rendszeresen visszatér, hogy ellenőrizze a változásokat.

Látható, hogy a robots.txt már a folyamat elején szerepet kap, ezért egy hibás beállítás akár az egész feltérképezési folyamatot megzavarhatja.

Mit vesz figyelembe a Googlebot?

A Googlebot nemcsak azt nézi, hogy egy URL tiltott vagy engedélyezett, hanem azt is, hogy milyen szabályok vonatkoznak rá.

A legfontosabb szempontok:

• a User-agent megfelel-e a Googlebotnak;
• van-e Disallow szabály az adott URL-re;
• létezik-e Allow kivétel;
• szerepel-e a sitemap a robots.txt fájlban;
• megfelelően elérhető-e maga a robots.txt.

Ha például a robots.txt a következőt tartalmazza:

User-agent: Googlebot
Disallow: /teszt/

akkor a Googlebot nem fogja feltérképezni a /teszt/ könyvtár tartalmát, miközben a weboldal többi részét továbbra is bejárhatja.

Robots.txt és indexelés – nem ugyanaz

Az egyik leggyakoribb félreértés, hogy sokan úgy gondolják, a robots.txt automatikusan megakadályozza egy oldal indexelését. Ez azonban nem igaz.

A robots.txt kizárólag azt szabályozza, hogy a Googlebot bejárhatja-e az adott URL-t. Az indexelés ettől független folyamat.

Előfordulhat például, hogy egy oldal tiltva van a robots.txt-ben, de más weboldalak hivatkoznak rá. Ilyenkor a Google tudhat az URL létezéséről, ezért bizonyos esetekben tartalom nélkül is megjelenítheti azt a keresési találatok között.

Ha biztosan szeretnéd megakadályozni egy oldal indexelését, akkor a megfelelő megoldás általában a noindex meta robots utasítás, nem pedig a robots.txt.

Mi az a crawl budget, és miért fontos?

A Google nem minden weboldalt térképez fel korlátlan mennyiségben. Minden domain rendelkezik egy úgynevezett crawl budgettel, vagyis egy hozzávetőleges feltérképezési kerettel.

Kisebb weboldalaknál ez ritkán jelent problémát, de nagyobb oldalaknál már komoly szerepe lehet.

Például:

• webáruházak több százezer termékkel;
• híroldalak napi több száz új cikkel;
• kertészeti tudástár több ezer növényismertetővel;
• SEO blog több száz szakmai útmutatóval.

Ha a Googlebot rengeteg idejét szűrőoldalakra, keresési URL-ekre vagy tesztoldalakra pazarolja, kevesebb erőforrás marad a valóban fontos tartalmak feltérképezésére.

A robots.txt segítségével ezek kizárhatók, így a crawl budget hatékonyabban használható fel.

Milyen hibák akadályozhatják a Googlebot munkáját?

Egy rosszul konfigurált robots.txt könnyen okozhat SEO-problémákat.

A leggyakoribb hibák:

Különösen veszélyes, amikor fejlesztés közben ideiglenesen letiltják az egész weboldalt, majd élesítés után elfelejtik eltávolítani ezt a szabályt. Egyetlen sor is elegendő ahhoz, hogy a Googlebot ne tudja bejárni az oldalt.

Hogyan segíti a robots.txt a Googlebot munkáját?

Egy jól megírt robots.txt nem korlátozza feleslegesen a Googlebotot, hanem irányt mutat számára.

Például egy villanyszerelő cég weboldalán nincs szükség arra, hogy a robot a belső keresési oldalakat vagy az adminfelületet járja be. Sokkal fontosabb, hogy gyorsan megtalálja a szolgáltatásokat, a referenciákat és a szakmai blogbejegyzéseket.

Hasonló a helyzet egy menyasszonyi ruhaszalon esetében is. A Google számára a ruhakollekciók, a szolgáltatási oldalak és a hasznos tanácsokat tartalmazó cikkek jelentenek értéket, nem pedig a háttérben működő adminisztrációs felületek vagy tesztoldalak.

A Google ajánlása

A Google azt javasolja, hogy a robots.txt fájlt egyszerűen és átláthatóan használd. Csak azokat az oldalakat tiltsd le, amelyek valóban nem igényelnek feltérképezést, és kerüld a túlzottan bonyolult szabályrendszereket.

Érdemes azt is biztosítani, hogy:

• a fontos tartalmak szabadon feltérképezhetők legyenek;
• a CSS-, JavaScript- és képfájlok ne legyenek indokolatlanul tiltva;
• a robots.txt mindig naprakész legyen;
• az XML sitemap hivatkozása szerepeljen a fájlban.

Összességében a robots.txt és a Googlebot kapcsolata sokkal többről szól, mint néhány tiltó szabályról. A robots.txt egy iránytű a Googlebot számára, amely segít eldönteni, merre haladjon a weboldalon. Ha jól állítod be, a keresőrobot gyorsabban megtalálja a fontos tartalmaidat, hatékonyabban használja fel a crawl budgetet, és könnyebben dolgozza fel a webhelyedet. Ez közvetve hozzájárulhat ahhoz is, hogy a friss vagy kiemelten fontos oldalaid hamarabb bekerüljenek a Google látóterébe.

Robots.txt és AI crawlerek

A robots.txt jelentősége az elmúlt években tovább nőtt, mivel ma már nemcsak a hagyományos keresőmotorok robotjai, hanem egyre több mesterséges intelligenciát használó crawler is rendszeresen feltérképezi a weboldalakat. Ezek a robotok különböző célból gyűjthetnek információkat: egyesek AI-alapú keresők működését támogatják, mások nyelvi modellek fejlesztéséhez vagy valós idejű válaszok előállításához használják fel a nyilvánosan elérhető tartalmakat.

Éppen ezért ma már nem elegendő kizárólag a Googlebotra gondolni. Ha hosszú távon szeretnéd növelni weboldalad láthatóságát az AI-alapú rendszerekben is, érdemes tudatosan átgondolni, hogyan kezeled ezeket a crawlereket a robots.txt fájlban.

Milyen AI crawlerek léteznek?

Az AI ökoszisztéma gyorsan fejlődik, ezért folyamatosan jelennek meg új adatgyűjtő robotok. A legismertebbek közé tartoznak:

Fontos megjegyezni, hogy ezek a robotok eltérő céllal működnek, ezért nem feltétlenül ugyanúgy használják fel a begyűjtött adatokat.

Hogyan szabályozhatod az AI crawlereket?

A robots.txt segítségével ugyanúgy adhatsz külön szabályokat az AI robotoknak, mint a Googlebotnak.

Például:

User-agent: GPTBot
Disallow:

Ez azt jelenti, hogy a GPTBot számára nincs tiltás, vagyis szabadon feltérképezheti a weboldalt.

Ha viszont egy adott könyvtárat nem szeretnél elérhetővé tenni:

User-agent: GPTBot
Disallow: /premium/

Ebben az esetben a GPTBot nem járhatja be a /premium/ könyvtár tartalmát.

Más AI robotokra is létrehozhatsz külön szabályokat.

Például:

User-agent: ClaudeBot
Disallow: /tagok/

vagy

User-agent: PerplexityBot
Disallow: /teszt/

Ez lehetővé teszi, hogy robotonként eltérő hozzáférést biztosíts.

Érdemes minden AI crawlert engedni?

Erre nincs minden weboldal számára egyformán jó válasz.

A döntés attól függ, hogy milyen céljaid vannak a tartalmaiddal, és milyen szerepet szánsz az AI-alapú keresőknek a jövőben.

Sok vállalkozás számára előnyt jelenthet, ha az AI rendszerek könnyebben megismerik a weboldal tartalmát.

Például:

• SEO szakértők;
• helyi szolgáltatók;
• szakmai blogok;
• oktatási oldalak;
• kertészeti tudástárak;
• villanyszerelő vagy klímatechnikai cégek;
• esküvői szolgáltatók.

Ha ezeknek a weboldalaknak a tartalma hiteles és naprakész, akkor nagyobb eséllyel jelenhetnek meg AI-alapú válaszokban vagy ajánlásokban.

Milyen előnye lehet az AI crawlerek engedélyezésének?

A mesterséges intelligenciára épülő keresők egyre több felhasználót szolgálnak ki, ezért hosszú távon komoly láthatósági előnyt jelenthet, ha a tartalmaid elérhetők számukra.

A lehetséges előnyök közé tartozik:

• nagyobb AI-láthatóság;
• több márkaemlítés;
• nagyobb esély AI-ajánlásokban való megjelenésre;
• szélesebb körű tartalomfeldolgozás;
• hosszú távon új forgalmi lehetőségek.

Ha például egy SEO blog részletes útmutatókat készít az AI keresőoptimalizálásról, akkor logikus cél lehet, hogy ezek a tartalmak az AI rendszerek számára is könnyen hozzáférhetők legyenek.

Mikor lehet indokolt bizonyos AI robotok korlátozása?

Vannak olyan esetek is, amikor egy weboldal tulajdonosa nem szeretné, hogy minden AI crawler hozzáférjen a teljes tartalomhoz.

Például:

• előfizetéses tudásbázisok;
• fizetős oktatóanyagok;
• belső dokumentációk;
• fejlesztés alatt álló tartalmak;
• prémium ügyfélfelületek.

Ilyenkor külön szabályokkal korlátozható egyes robotok hozzáférése.

Fontos azonban tudni, hogy a robots.txt nem biztonsági megoldás, hanem önkéntesen követhető iránymutatás. Ha valódi hozzáférés-védelemre van szükség, azt szerveroldali jogosultságkezeléssel vagy hitelesítéssel kell megoldani.

AI crawlerek és SEO – együtt vagy egymás ellen?

Sokan attól tartanak, hogy ha engedélyezik az AI crawlereket, akkor elveszíthetik a weboldaluk forgalmát. A valóság ennél árnyaltabb.

A Google keresője és az AI-alapú rendszerek nem egymás helyettesítői, hanem egyre inkább egymást kiegészítő csatornák.

Ha a weboldalad:

• hiteles;
• jól strukturált;
• rendszeresen frissül;
• magas szakmai színvonalú tartalmat kínál;

akkor jó eséllyel nemcsak a Google, hanem az AI rendszerek számára is értékes forrássá válhat.

Ez különösen igaz olyan témákban, mint:

• keresőoptimalizálás;
• kertészkedés;
• villanyszerelés;
• hőszivattyúk;
• menyasszonyi ruhák;
• egészségügyi ismeretterjesztés;
• pénzügyi útmutatók.

Jó stratégia 2026-ban

A legtöbb weboldal számára ma már az jelenti a legjobb megoldást, ha nem automatikusan tiltja vagy engedélyezi az összes AI crawlert, hanem tudatosan alakítja ki a robots.txt szabályait.

Érdemes rendszeresen felülvizsgálni:

• mely AI robotok látogatják a weboldalt;
• valóban szükséges-e bármelyik korlátozása;
• naprakészek-e a robots.txt szabályok;
• változott-e az AI keresők működése;
• összhangban vannak-e a beállítások az üzleti célokkal.

A robots.txt ma már nem csupán egy technikai SEO-fájl, hanem az AI-korszak egyik fontos irányítási eszköze is. Segítségével meghatározhatod, hogy mely mesterséges intelligenciát használó crawlerek férhetnek hozzá a nyilvánosan elérhető tartalmaidhoz. Ha ezt tudatosan és átgondoltan kezeled, weboldalad nemcsak a hagyományos keresőmotorokban, hanem az AI-alapú keresési és ajánlórendszerekben is jobb láthatóságot érhet el.

Robots.txt vagy meta robots? Mi a különbség?

A robots.txt és a meta robots gyakran ugyanabban a mondatban szerepelnek, ezért sokan azt gondolják, hogy ugyanazt a feladatot látják el. Valójában azonban két teljesen különböző technológiáról van szó, amelyek más-más problémát oldanak meg.

A legfontosabb különbség, hogy a robots.txt a weboldal feltérképezését (crawl) szabályozza, míg a meta robots az oldal indexelését és a keresőmotorok viselkedését befolyásolja. Ez a különbség elsőre apróságnak tűnhet, de a gyakorlatban jelentős hatással lehet a SEO-ra.

Ha nem megfelelő megoldást választasz, könnyen előfordulhat, hogy egy oldal továbbra is megjelenik a Google találatai között, miközben azt hitted, hogy már kizártad a keresőből.

Mi a robots.txt feladata?

A robots.txt a weboldal gyökérkönyvtárában található, és még azelőtt kerül feldolgozásra, hogy a keresőrobot bejárná az oldalakat.

Feladata, hogy megmondja:

• mely könyvtárakat térképezheti fel a robot;
• mely URL-eket hagyja ki;
• hol található az XML sitemap.

Például:

User-agent: *
Disallow: /admin/

Ebben az esetben a robot nem járja be az /admin/ könyvtárat.

A robots.txt tehát nem az oldalak keresőben való megjelenését szabályozza, hanem azt, hogy a robot egyáltalán hozzáférhet-e a tartalomhoz.

Mi a meta robots feladata?

A meta robots egy HTML meta tag, amely az adott oldal <head> részében található.

Például:

<meta name="robots" content="noindex, follow">

Ez már nem a feltérképezésről szól, hanem arról, hogy mi történjen az oldal feldolgozása után.

A legismertebb utasítások:

• index – az oldal indexelhető;
• noindex – az oldal ne jelenjen meg a keresőben;
• follow – a robot kövesse a hivatkozásokat;
• nofollow – ne kövesse az oldal linkjeit.

A meta robots tehát oldalszintű utasításokat ad, míg a robots.txt inkább webhelyszinten működik.

A két megoldás összehasonlítása

Mikor jobb a robots.txt?

A robots.txt akkor ideális választás, amikor a feltérképezést szeretnéd optimalizálni, nem pedig egy adott oldal keresőbeli megjelenését szabályozni.

Tipikus példák:

• WordPress adminfelület kizárása;
• belső keresési oldalak tiltása;
• tesztkörnyezet kizárása;
• szűrőoldalak kizárása webáruházaknál;
• felesleges rendszerkönyvtárak tiltása.

Például egy kertészeti weboldalon nincs szükség arra, hogy a Google több ezer automatikusan létrejövő szűrési URL-t járjon be. Sokkal fontosabb, hogy a növényismertetők és gondozási útmutatók kerüljenek előtérbe.

Mikor jobb a meta robots?

A meta robots akkor megfelelő választás, ha egy konkrét oldalt szeretnél kizárni a Google találatai közül, miközben a keresőrobot továbbra is hozzáférhet az oldal tartalmához.

Ez hasznos lehet például:

• köszönőoldalaknál;
• sikeres rendelés utáni oldalaknál;
• belépési oldalaknál;
• duplikált tartalmaknál;
• ideiglenes kampányoldalaknál.

Egy menyasszonyi ruhaszalon például létrehozhat egy időpontfoglalás utáni visszaigazoló oldalt. Ezt a látogatók láthatják, de nincs értelme megjelennie a Google keresőjében, ezért itt a noindex használata a megfelelő megoldás.

Használható együtt a robots.txt és a meta robots?

Igen, sőt a legtöbb modern weboldalon együtt használják őket, de fontos, hogy megfelelően kombináld őket.

A legjobb gyakorlat általában:

• a robots.txt irányítja a feltérképezést;
• a meta robots szabályozza az indexelést.

Ez biztosítja a legnagyobb rugalmasságot.

Gyakori hiba: Disallow + noindex

Sokan egyszerre alkalmazzák a következő két megoldást ugyanarra az oldalra:

• Disallow a robots.txt-ben;
• noindex a meta robots tagben.

Ez azonban problémás lehet.

Ha ugyanis a robots.txt teljesen letiltja az oldal feltérképezését, akkor a Googlebot nem tudja letölteni az oldalt, így előfordulhat, hogy a benne található noindex utasítást sem tudja elolvasni.

Ezért általában nem érdemes ugyanazt az URL-t egyszerre Disallow-val letiltani és noindexszel kizárni, hacsak nincs rá különleges technikai ok.

Melyiket használd?

Az alábbi táblázat segít eldönteni, hogy melyik megoldás a megfelelő.

Összegezve

A robots.txt és a meta robots nem egymás versenytársai, hanem egymást kiegészítő eszközök. A robots.txt azt mondja meg a keresőrobotnak, mit térképezhet fel, míg a meta robots azt, hogyan kezelje az adott oldalt a feltérképezés után.

Ha ezt a különbséget megérted, sokkal tudatosabban tudod kialakítani weboldalad technikai SEO-beállításait. A legtöbb esetben a két megoldás együtt biztosítja a leghatékonyabb működést: a robots.txt optimalizálja a feltérképezést, a meta robots pedig finoman szabályozza, hogy mely oldalak jelenjenek meg a keresési találatok között. Ez a megközelítés nemcsak a Googlebot, hanem az egyre fejlettebb AI-alapú keresőrendszerek számára is egyértelműbbé teszi a weboldalad felépítését és tartalmának kezelését.

Milyen oldalakat nem érdemes letiltani?

A robots.txt egyik leggyakoribb hibája, hogy a weboldal tulajdonosa túl sok mindent próbál elrejteni a keresőrobotok elől. Bár elsőre logikusnak tűnhet minél több URL kizárása, a túlzott tiltások gyakran éppen az ellenkező hatást érik el: a Google és az AI crawlerek nem tudják megfelelően értelmezni a weboldalt, ami negatívan befolyásolhatja a keresőoptimalizálást.

Általános szabályként érdemes megjegyezni, hogy csak azokat az oldalakat tiltsd le, amelyek valóban nem jelentenek értéket a keresőmotorok számára. A hasznos tartalmakat, valamint a weboldal megfelelő működéséhez szükséges erőforrásokat hagyd szabadon feltérképezhetőnek.

CSS fájlok

Korábban sok weboldalon bevett gyakorlat volt a CSS fájlok letiltása, ma azonban ez már kifejezetten kerülendő.

A Google a weboldalt szinte ugyanúgy próbálja megjeleníteni, mint egy valódi látogató. Ehhez szüksége van a stíluslapokra is.

Ha a CSS nem érhető el:

• hibás lehet az oldal megjelenítése;
• a Google rosszul értelmezheti az elrendezést;
• romolhatnak a Core Web Vitals mutatók;
• nehezebb felismerni a mobilbarát kialakítást.

Ezért a CSS fájlokat általában nem szabad letiltani.

JavaScript fájlok

A modern weboldalak jelentős része JavaScript segítségével működik.

Ha ezeket a fájlokat letiltod, a Google nem tudja megfelelően feldolgozni az oldalt.

Ennek következménye lehet például:

• hiányzó tartalom;
• nem működő menük;
• hibás navigáció;
• rosszul értelmezett strukturált adatok;
• hiányzó képek vagy interaktív elemek.

Különösen igaz ez WordPress, webshopok vagy JavaScript-alapú weboldalak esetében.

Képek

Sokan úgy gondolják, hogy a képek feltérképezése felesleges, pedig a Google Képkereső jelentős forgalmat hozhat.

Ha letiltod a képkönyvtárakat, akkor:

• a képek nem jelennek meg a Google Képek között;
• csökkenhet az organikus forgalom;
• az AI rendszerek kevesebb vizuális információt dolgozhatnak fel.

Ez különösen fontos például:

• menyasszonyi ruhaszalonoknál;
• kertészeti oldalaknál;
• villanyszerelő referenciaoldalaknál;
• klímatechnikai cégeknél;
• webshopoknál.

Fontok és egyéb erőforrások

A Google számára nemcsak a HTML oldal fontos.

Gyakran szüksége van:

• webfontokra;
• ikonokra;
• SVG fájlokra;
• háttérképekre;
• egyéb statikus erőforrásokra.

Ha ezek indokolatlanul tiltva vannak, előfordulhat, hogy a Google nem ugyanazt látja, mint a látogatók.

Fontos szolgáltatási oldalak

Meglepően gyakori hiba, hogy egy fejlesztés után véletlenül letiltják a legfontosabb szolgáltatási oldalakat.

Például:

• SEO szolgáltatások;
• villanyszerelési szolgáltatások;
• hőszivattyú telepítés;
• menyasszonyi ruhák;
• kertfenntartási szolgáltatások.

Ezeket az oldalakat természetesen mindig szabadon feltérképezhetővé kell tenni, hiszen ezek hozzák a legtöbb organikus látogatót.

Blogcikkek és tudásbázis

Ha tartalommarketinget építesz, a blog az egyik legfontosabb SEO-eszközöd.

Ezért nem érdemes letiltani:

• blogcikkeket;
• útmutatókat;
• esettanulmányokat;
• GYIK oldalakat;
• oktatóanyagokat.

Például egy SEO blog AI keresőoptimalizálásról szóló cikkeit vagy egy kertészeti oldal növénygondozási útmutatóit kifejezetten azért készíted, hogy a Google és az AI keresők megtalálják őket.

XML sitemap

Bár az XML sitemap nem egy hagyományos weboldal, fontos, hogy elérhető legyen a keresőrobotok számára.

A sitemap:

• segíti az új oldalak felfedezését;
• gyorsítja a feltérképezést;
• megmutatja a fontos URL-eket.

Ezért mindig érdemes feltüntetni a robots.txt fájlban.

Gyakori rossz példák

Az alábbi tiltások sok esetben többet ártanak, mint használnak.

Mit érdemes inkább letiltani?

A robots.txt elsősorban azokat a területeket kezelje, amelyeknek nincs értékük a keresőmotorok számára.

Jó jelöltek lehetnek például:

• adminfelületek;
• belső keresési eredmények;
• ideiglenes tesztoldalak;
• fejlesztői könyvtárak;
• bizonyos szűrőoldalak;
• rendszerfájlok.

Így a Googlebot és az AI crawlerek a valóban fontos tartalmakra fordíthatják az idejüket.

Jó SEO gyakorlat

A modern technikai SEO egyik alapelve, hogy ne korlátozd feleslegesen a keresőrobotokat. A Google ma már képes JavaScriptet futtatni, CSS-t feldolgozni és az oldal teljes megjelenését értelmezni. Minél közelebb áll ahhoz, amit egy valódi látogató lát, annál pontosabban tudja megítélni a weboldalad minőségét.

Éppen ezért a robots.txt célja nem az, hogy minél több oldalt elrejts, hanem az, hogy a keresőrobotokat a legfontosabb tartalmak felé irányítsd. Ha csak az adminfelületeket, tesztoldalakat és más valóban felesleges URL-eket zárod ki, miközben minden értékes tartalom, kép és technikai erőforrás szabadon elérhető marad, akkor a Google és az AI-alapú keresőrendszerek is hatékonyabban tudják feltérképezni és értelmezni a weboldaladat. Ez hosszú távon jobb indexelést, gyorsabb tartalomfeldolgozást és stabilabb SEO-teljesítményt eredményezhet.

Milyen hibákat követnek el a legtöbben?

User-agent: *
Disallow: /

Disallow: /titkos-oldal/

Robots.txt példák különböző weboldalakhoz

Nincs olyan robots.txt fájl, amely minden weboldal számára tökéletes lenne. Egy egyszerű céges honlapnak egészen más igényei vannak, mint egy több tízezer terméket tartalmazó webáruháznak vagy egy nagy tartalommarketing oldalnak. A robots.txt beállításait mindig a weboldal felépítéséhez, működéséhez és SEO céljaihoz érdemes igazítani.

Az alábbi példák a leggyakoribb weboldaltípusokat mutatják be. Ezek jó kiindulási alapot jelenthetnek, de minden esetben érdemes ellenőrizni, hogy a saját weboldalad struktúrájához is megfelelőek-e.

Egyszerű céges weboldal

Egy kisebb szolgáltatói honlap – például egy villanyszerelő, klímaszerelő vagy könyvelő weboldala – általában kevés technikai korlátozást igényel.

Példa:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://domain.hu/sitemap.xml

Ez a beállítás:

• kizárja a WordPress adminfelületét;
• engedélyezi a működéshez szükséges AJAX fájlt;
• megmutatja a keresőrobotoknak a webhelytérképet.

A szolgáltatási oldalak, referenciák és blogbejegyzések továbbra is szabadon feltérképezhetők maradnak.

SEO szakértő vagy tartalommarketing weboldal

Egy SEO blog vagy szakmai tudásbázis esetében különösen fontos, hogy minden értékes tartalom könnyen elérhető legyen a Google és az AI crawlerek számára.

Példa:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://domain.hu/sitemap.xml

Ilyen weboldalakon általában nem érdemes letiltani a blogot, a kategóriákat vagy a címkéket, hacsak nincs rá külön SEO-stratégiai ok.

Webáruház esetén

A webshopok esetében sok automatikusan generált URL jön létre.

Például:

• szűrők;
• rendezések;
• keresési eredmények;
• paraméterezett oldalak.

Ezek feleslegesen terhelhetik a crawl budgetet.

Példa:

User-agent: *
Disallow: /search/
Disallow: /cart/
Disallow: /checkout/
Disallow: /*?sort=
Disallow: /*?filter=

Sitemap: https://domain.hu/sitemap.xml

Ez segít abban, hogy a Google inkább a termékoldalakra és kategóriákra koncentráljon.

Menyasszonyi ruhaszalon

Egy menyasszonyi ruhaszalon weboldalának legfontosabb oldalai:

• ruhakollekciók;
• szolgáltatások;
• blog;
• időpontfoglalás.

Az adminfelületet természetesen célszerű kizárni, de a ruhákat bemutató oldalak mindig maradjanak elérhetők.

Példa:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://domain.hu/sitemap.xml

Nincs szükség bonyolult szabályokra.

Kertészeti tudástár

Egy kertészeti oldal akár több ezer cikket is tartalmazhat.

Például:

• növényismertetők;
• betegségek;
• gondozási útmutatók;
• vetési naptárak.

Itt fontos, hogy a Google minden értékes tartalmat gyorsan megtaláljon.

Példa:

User-agent: *
Disallow: /wp-admin/
Disallow: /kereses/

Allow: /wp-admin/admin-ajax.php

Sitemap: https://domain.hu/sitemap.xml

A belső keresési oldalak kizárhatók, de a tudásbázis teljes egészében maradjon feltérképezhető.

Villanyszerelő weboldal

Egy helyi szolgáltató weboldala általában kevés technikai oldalt tartalmaz.

A cél az, hogy a Google gyorsan megtalálja:

• szolgáltatásokat;
• referenciákat;
• blogcikkeket;
• kapcsolat oldalt.

Példa:

User-agent: *
Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

Sitemap: https://domain.hu/sitemap.xml

Klímatechnikai weboldal

Egy klímás vagy hőszivattyús weboldalon sok szolgáltatási oldal található.

Ezeket nem szabad kizárni.

Tiltani inkább csak:

• adminfelület;
• belső kereső;
• tesztoldalak.

Példa:

User-agent: *
Disallow: /wp-admin/
Disallow: /search/

Allow: /wp-admin/admin-ajax.php

Sitemap: https://domain.hu/sitemap.xml

AI-barát tartalommarketing oldal

Ha célod, hogy a Google mellett az AI rendszerek is könnyen feldolgozzák a tartalmaidat, akkor általában nincs szükség külön tiltásokra.

Például:

User-agent: *
Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

Sitemap: https://domain.hu/sitemap.xml

Amennyiben bizonyos AI crawlerek számára eltérő szabályokat szeretnél megadni, ezt külön User-agent blokkokkal teheted meg.

Mit érdemes minden robots.txt fájlban szerepeltetni?

Függetlenül attól, hogy milyen weboldalt üzemeltetsz, néhány elem szinte minden esetben ajánlott.

Mire figyelj a saját robots.txt elkészítésekor?

A legnagyobb hiba, ha valaki gondolkodás nélkül bemásol egy másik weboldal robots.txt fájlját. Minden honlap más felépítésű, ezért a szabályokat mindig a saját rendszeredhez kell igazítani.

Érdemes figyelembe venni:

• milyen CMS-t használsz;
• vannak-e belső keresési oldalak;
• működik-e webshop vagy foglalási rendszer;
• szükséges-e AI crawlerek külön kezelése;
• hogyan épül fel a könyvtárszerkezet.

A robots.txt akkor működik a leghatékonyabban, ha egyszerű, átlátható és csak a valóban szükséges szabályokat tartalmazza. Egy jól felépített céges honlapnak gyakran elegendő néhány sor is, míg egy nagy webáruház vagy összetett portál részletesebb konfigurációt igényelhet. A cél azonban minden esetben ugyanaz: a Googlebot és az AI crawlerek a lehető leggyorsabban megtalálják a legfontosabb tartalmaidat, miközben nem pazarolják az idejüket olyan oldalakra, amelyeknek nincs valódi SEO-értékük.

Hogyan ellenőrizd a robots.txt működését?

Egy robots.txt fájl elkészítése csak az első lépés. Legalább ennyire fontos, hogy rendszeresen ellenőrizd is, valóban úgy működik-e, ahogyan azt tervezted. Egyetlen elgépelés, hibás útvonal vagy véletlen tiltás is elegendő lehet ahhoz, hogy a Google vagy az AI crawlerek ne tudják megfelelően feltérképezni a weboldalad.

Szerencsére ma már több olyan ingyenes és fizetős eszköz is rendelkezésre áll, amelyek segítségével néhány perc alatt átvizsgálhatod a robots.txt fájlt.

Ellenőrizd, hogy egyáltalán elérhető-e

Az első és legegyszerűbb lépés, hogy megnyitod a böngészőben:

https://domain.hu/robots.txt

Ha minden rendben működik, akkor egy egyszerű szövegfájlt kell látnod.

Például:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://domain.hu/sitemap.xml

Ha viszont:

• 404-es hibát kapsz,
• 403-as hibát kapsz,
• üres oldal jelenik meg,
• vagy a fájl nem töltődik be,

akkor először ezt a problémát kell megoldani.

Ellenőrizd a Google Search Console segítségével

A Google Search Console az egyik legfontosabb eszköz a technikai SEO ellenőrzéséhez.

Segítségével többek között megvizsgálhatod:

• sikeresen letölti-e a Google a robots.txt fájlt;
• található-e benne hiba;
• mely oldalakat nem tudja feltérképezni;
• vannak-e robots.txt által blokkolt URL-ek.

Érdemes rendszeresen átnézni az Oldalak (Pages) vagy az Indexelés (Indexing) jelentéseket, mert ezekből gyorsan kiderülhet, ha egy fontos oldal véletlenül letiltásra került.

URL-ellenőrző használata

A Search Console egyik leghasznosabb funkciója az URL-ellenőrző.

Ennek segítségével egyetlen URL-ről is megtudhatod:

• feltérképezhető-e;
• indexelhető-e;
• mikor járt ott utoljára a Googlebot;
• akadályozza-e a robots.txt.

Ez különösen hasznos új szolgáltatási oldalak vagy frissen megjelent blogcikkek esetében.

Használj SEO crawlereket

A professzionális SEO-eszközök ugyanúgy értelmezik a robots.txt szabályait, mint a keresőmotorok.

Néhány népszerű megoldás:

Ezek az eszközök megmutatják például:

• mely URL-ek blokkoltak;
• mely tiltások feleslegesek;
• van-e hibás szintaxis;
• szerepel-e a sitemap.

Nézd át a szervernaplókat (log fájlokat)

Nagyobb weboldalaknál a szerver logfájljai rengeteg hasznos információt tartalmaznak.

Ezekből látható például:

• mely robotok látogatják a weboldalt;
• milyen gyakran érkezik a Googlebot;
• megjelennek-e AI crawlerek;
• mely URL-eket próbálják elérni;
• milyen válaszkódot kaptak.

Ez különösen hasznos:

• nagy webáruházaknál;
• több ezer oldalas blogoknál;
• híroldalaknál;
• vállalati portáloknál.

Ellenőrizd a sitemap hivatkozását

Sokan megfeledkeznek róla, pedig néhány másodperc alatt ellenőrizhető.

A robots.txt végén szerepeljen például:

Sitemap: https://domain.hu/sitemap.xml

Ezután nyisd meg ezt az URL-t is.

Ha a sitemap nem érhető el vagy hibát ad, akkor a robots.txt-ben szereplő hivatkozás sem fog segíteni a keresőrobotoknak.

Vizsgáld meg a robots.txt frissességét

Sok weboldalon a robots.txt évek óta változatlan.

Pedig közben:

• új szolgáltatások indulnak;
• új könyvtárak jelennek meg;
• megszűnnek régi oldalak;
• új AI crawlerek jelennek meg.

Érdemes időnként feltenni magadnak néhány kérdést:

• Minden tiltás még mindig indokolt?
• Nincs már nem létező könyvtár a fájlban?
• Az XML sitemap aktuális?
• A legutóbbi weboldal-fejlesztések után is megfelelően működik?
• Szükséges-e AI crawlerekre külön szabályokat létrehozni?

Gyors ellenőrző lista

Minden nagyobb weboldal-frissítés után érdemes végigmenni ezen az ellenőrzőlistán.

Érdemes rendszeresen felülvizsgálni

A robots.txt nem olyan fájl, amelyet egyszer elkészítesz, majd örökre megfeledkezel róla. Minden jelentősebb weboldal-fejlesztés, CMS-frissítés, új bővítmény telepítése vagy szerverköltözés után ajánlott újra ellenőrizni.

Egy évente elvégzett technikai SEO audit során szinte mindig érdemes átnézni a robots.txt fájlt is. Ez csak néhány percet vesz igénybe, mégis segíthet megelőzni olyan hibákat, amelyek hosszú időre rontanák a weboldalad láthatóságát.

A rendszeres ellenőrzés biztosítja, hogy a Googlebot és az AI crawlerek mindig a megfelelő szabályok alapján dolgozzanak, így a legfontosabb tartalmaid gyorsan és hatékonyan kerülhetnek feltérképezésre. Egy naprakész robots.txt fájl a technikai SEO egyik legegyszerűbb, ugyanakkor legfontosabb eleme, amely hosszú távon hozzájárul a stabil organikus teljesítményhez.

Robots.txt optimalizálási ellenőrző lista

Összegzés

A robots.txt egy apró méretű, mégis rendkívül fontos fájl, amely jelentős szerepet játszik a weboldalad technikai SEO-jában. Bár mindössze néhány sorból állhat, segítségével irányíthatod, hogy a Googlebot, a Bingbot és az egyre nagyobb jelentőséggel bíró AI crawlerek mely oldalakat térképezzék fel, és mely területeket hagyják figyelmen kívül. Egy jól megírt robots.txt nem a keresőmotorok korlátozásáról szól, hanem arról, hogy a feltérképezési erőforrásokat a valóban értékes tartalmakra összpontosítsa.

A cikkből láthattad, hogy a robots.txt nem helyettesíti a noindex utasítást, nem biztonsági megoldás, és nem arra való, hogy elrejtsd vele az érzékeny adatokat. Sokkal inkább egy kommunikációs eszköz a weboldalad és a keresőrobotok között. Ha megfelelően használod, javíthatod a crawl budget kihasználását, gyorsíthatod az új tartalmak felfedezését, és segítheted a keresőmotorokat abban, hogy hatékonyabban dolgozzák fel a webhelyedet.

A mesterséges intelligencia térnyerésével a robots.txt szerepe tovább erősödött. Ma már nemcsak a hagyományos keresőmotorok robotjai olvassák ezt a fájlt, hanem számos AI-alapú rendszer is. Ezért érdemes időről időre felülvizsgálni a beállításokat, és átgondolni, hogy a különböző AI crawlerek számára milyen hozzáférést szeretnél biztosítani.

A legjobb eredményt akkor érheted el, ha a robots.txt fájl:

• egyszerű és könnyen átlátható;
• csak a valóban szükséges tiltásokat tartalmazza;
• nem akadályozza a fontos tartalmak feltérképezését;
• tartalmazza az XML sitemap hivatkozását;
• rendszeresen felülvizsgálod egy technikai SEO audit részeként.

Ne feledd, hogy a robots.txt beállítása nem egyszeri feladat. Egy weboldal folyamatosan fejlődik: új oldalak, szolgáltatások és technológiák jelennek meg, miközben a keresőmotorok és az AI rendszerek működése is változik. Ezért érdemes minden nagyobb fejlesztés, szerverköltözés vagy weboldal-frissítés után ellenőrizni, hogy a robots.txt továbbra is megfelelően támogatja-e a keresőrobotok munkáját.

Ha tudatosan kezeled ezt az apró, de fontos fájlt, akkor nemcsak a Google számára teszed könnyebbé a weboldalad feltérképezését, hanem az AI-alapú keresők és asszisztensek számára is egyértelműbbé válik a tartalmad szerkezete és értéke. Ez hosszú távon hozzájárulhat a jobb organikus láthatósághoz, a gyorsabb indexeléshez és egy stabilabb technikai SEO-alap kialakításához.

GYIK ❓

Mi az a robots.txt?

A robots.txt egy egyszerű szövegfájl, amely a weboldal gyökérkönyvtárában található. Segítségével meghatározhatod, hogy a keresőrobotok mely oldalakat és könyvtárakat térképezhetik fel, illetve melyeket hagyják ki.

Kötelező minden weboldalnak robots.txt fájlt használnia?

Nem. Egy weboldal robots.txt nélkül is működik, és a keresőrobotok ilyenkor alapértelmezés szerint szabadon feltérképezhetik az oldalakat. Ennek ellenére szinte minden weboldal számára ajánlott használni, mert segít a feltérképezés optimalizálásában.

Mi történik, ha nincs robots.txt?

Ha nem található robots.txt fájl, a Googlebot és a többi keresőrobot úgy tekinti, hogy nincs korlátozás. Ennek következtében minden nyilvánosan elérhető URL-t megpróbálnak feltérképezni.

A robots.txt megakadályozza az indexelést?

Nem. A robots.txt a feltérképezést szabályozza, nem az indexelést. Egy letiltott oldal bizonyos esetekben akkor is megjelenhet a Google keresési találatai között, ha más weboldalak hivatkoznak rá. Az indexelés megakadályozására általában a meta robots noindex utasítás használható.

Mi a különbség a robots.txt és a noindex között?

A robots.txt azt szabályozza, hogy a keresőrobot bejárhatja-e az oldalt, míg a noindex azt mondja meg, hogy az oldal megjelenhet-e a keresési találatok között. A két megoldás eltérő feladatot lát el, ezért nem helyettesítik egymást.

Hol találom a robots.txt fájlt?

A robots.txt mindig a domain gyökérkönyvtárában található, és a következő címen érhető el:

https://domain.hu/robots.txt

Ha ezt az URL-t megnyitod a böngészőben, közvetlenül láthatod a fájl tartalmát.

Hogyan tudom módosítani?

A robots.txt módosítható FTP-n keresztül, a tárhely fájlkezelőjében vagy egyes tartalomkezelő rendszerek és SEO bővítmények segítségével. Fontos, hogy minden változtatás után ellenőrizd, megfelelően működik-e.

Mit jelent a Disallow: /?

Ez az egyik legerősebb tiltás, mert azt jelenti, hogy a keresőrobotok a teljes weboldalt kihagyják a feltérképezésből. Éles weboldalon ezt a szabályt nem ajánlott használni, mert jelentős SEO-problémákat okozhat.

Lehet egyszerre több sitemap a robots.txt fájlban?

Igen. Ha a weboldalad több XML sitemapet használ, mindegyiket megadhatod külön sorban.

Például:

Sitemap: https://domain.hu/post-sitemap.xml
Sitemap: https://domain.hu/page-sitemap.xml
Sitemap: https://domain.hu/category-sitemap.xml

Milyen AI crawlereket lehet szabályozni robots.txt segítségével?

A robots.txt segítségével többek között szabályozhatók az olyan AI crawlerek, mint a GPTBot, a ClaudeBot vagy a PerplexityBot. Robotonként külön szabályokat is létrehozhatsz, ha eltérő hozzáférést szeretnél biztosítani számukra.

Milyen gyakran érdemes átnézni a robots.txt fájlt?

Ajánlott legalább évente egyszer ellenőrizni, de minden nagyobb weboldal-frissítés, szerverköltözés, URL-struktúra módosítás vagy technikai SEO audit után is érdemes felülvizsgálni.

Befolyásolja a robots.txt a SEO eredményeket?

Közvetlenül nem javítja a helyezéseket, de jelentősen befolyásolja a weboldal feltérképezésének hatékonyságát. Egy jól beállított robots.txt segíti a Googlebot munkáját, míg egy hibás konfiguráció komoly organikus forgalomvesztést is okozhat.

Mit érdemes tiltani egy WordPress weboldalon?

A legtöbb WordPress weboldalon elegendő az adminfelület tiltása, miközben az admin-ajax.php fájlt engedélyezni kell a megfelelő működés érdekében. Emellett célszerű megadni az XML sitemap helyét is.

Hogyan ellenőrizhetem, hogy jól működik-e a robots.txt?

A legegyszerűbb módszer, ha megnyitod a https://domain.hu/robots.txt címet a böngészőben. Emellett érdemes használni a Google Search Console URL-ellenőrző funkcióját, valamint SEO audit eszközöket, például a Screaming Frogot, a Sitebulbot, az Ahrefs Site Auditot vagy a Semrush Site Auditot.

Mire kell különösen figyelni 2026-ban az AI keresők miatt?

Az AI-alapú keresők és asszisztensek egyre nagyobb szerepet kapnak az információkeresésben, ezért érdemes tudatosan kialakítani a robots.txt szabályait. Gondold át, hogy szeretnéd-e engedélyezni az AI crawlerek számára a nyilvánosan elérhető tartalmaid feltérképezését, és rendszeresen vizsgáld felül a beállításokat, hogy azok összhangban maradjanak a weboldalad céljaival és az AI technológiák fejlődésével.

Miért érdemes befektetni egy jó SEO szakértőbe?

A SEO ma már jóval többről szól, mint néhány kulcsszó optimalizálásáról. Az AI Overviews, a GEO (Generative Engine Optimization), a szemantikus SEO, az entitásalapú keresés és a topical authority korában azok a weboldalak kerülnek előnybe, amelyek valódi szakértői tudásközpontként jelennek meg a Google és az AI-alapú keresők számára.

Egy profi SEO szakértő nemcsak a jobb helyezések elérésében segít, hanem olyan hosszú távú stratégiát épít, amely növeli a weboldalad láthatóságát, erősíti a márkádat, és releváns érdeklődőket hoz az oldaladra. A megfelelően felépített SEO nem egyszeri költség, hanem olyan befektetés, amely hónapokon és éveken keresztül képes folyamatos forgalmat és új ügyfeleket generálni.

A keresési környezet folyamatosan változik. A Google algoritmusai, az AI-alapú találatok és a felhasználói szokások is egyre gyorsabban alakulnak. Egy tapasztalt SEO szakember segít alkalmazkodni ezekhez a változásokhoz, kiépíteni a szükséges topical authorityt, valamint olyan tartalomstratégiát kialakítani, amely nemcsak ma, hanem a jövő keresőiben is versenyképes marad. Egy rosszul kivitelezett SEO munka viszont könnyen idő-, pénz- és forgalomveszteséget okozhat, ezért különösen fontos, hogy a weboldalad optimalizálását valódi szakértőre bízd.

Miért érdemes választani a HonlapSEO-t?

Több éve foglalkozom keresőoptimalizálással, és munkám során nemcsak a hagyományos SEO-ra, hanem a modern keresési trendekre, az AI-alapú keresésekre és a GEO (Generative Engine Optimization) stratégiákra is kiemelt figyelmet fordítok. Segítek abban, hogy weboldalad ne csupán jobb helyezéseket érjen el a Google találati listáján, hanem az AI-alapú rendszerek, például a ChatGPT, a Google AI Overviews vagy a Perplexity számára is hiteles és könnyen feldolgozható forrássá váljon.

Szolgáltatásaim közé tartozik a SEO audit, a technikai optimalizálás, a kulcsszókutatás, a SEO szövegírás, a topical authority építés, a tartalomstratégia kialakítása, valamint a belső linkrendszer és a szemantikus SEO fejlesztése. Minden projekt során hosszú távú gondolkodásra törekszem, hiszen a cél nem csupán a rövid távú helyezésjavulás, hanem egy stabil, folyamatosan növekvő organikus jelenlét kialakítása. Ehhez a havidíjas SEO-t ajánlom.

Ha szeretnéd, hogy weboldalad valódi szakértői státuszt építsen ki a saját piacán, növelje a látogatottságát és felkészüljön az AI-alapú keresések jövőjére, szívesen segítek a megfelelő SEO és GEO stratégia kialakításában.

Keresőoptimalizáláshoz profi Seo szakembert keresel? Azonnal használható, gyors megoldások a Google irányelvei alapján. Megjelennél a a Google AI Overviews találataiban?

Elérhetőségeim:

Burai Barbi SEO szakember, SEO szakértő,

 AI-GEO mentor

Telefon: +36-30-242-9494

E-mail: info(kukac)honlapseo.hu

Web: HonlapSEO   SEO alapok

Eredményes keresőoptimalizáláshoz profi SEO szakembert keresel?

Vedd fel Velem a kapcsolatot az alábbi űrlap kitöltésével:

• About
• Latest Posts

Burai Barbi SEO szakember, Honlap SEO

SEO szakember, Keresőoptimalizálás szakértő at HonlapSEO

Keresőoptimalizálás, SEO, Honlap SEO, SEO tanácsadás, SEO audit, SEO szövegírás, weboldal elemzés, versenytárs elemzés. SEO szakértő segítségével, a honlapok keresőbeli előkelőbb helyezésének elérése. Gyors, hatékony megoldások a Google irányelvei alapján. A már elkészült honlapok utólagos keresőoptimalizálása, SEO több éves szakmai tapasztalattal.
Google AI Overviews optimalizálás, Topical authority építés, GEO és AI keresőkre optimalizálás.

Latest posts by Burai Barbi SEO szakember, Honlap SEO (see all)

• Robots.txt útmutató - 2026-07-07
• Mikor érdemes teljes AI SEO auditot végezni? - 2026-07-06
• Google keresőoptimalizálás lépésről lépésre - 2026-07-05