robots.txt generátor
Készíts robots.txt fájlt több user-agent blokkal, Allow/Disallow szabályokkal, opcionális Crawl-delay, Host és Sitemap sorokkal. Az élő előnézet gépelés közben frissül.
User-agent blokkok
Globális
Megjegyzések: Egyes robotok (pl. Yandex) figyelembe veszik a
Host sort. A Crawl-delay-t a Google nem használja, mások viszont igen. A * és $ helyettesítő karakterek széles körben támogatottak (nem részei az alap RFC-nek).
Előnézet (robots.txt)
URL tesztelő
Emlékeztető: a
robots.txt nyilvánosan elérhető, és csak ajánlás a jól viselkedő robotok számára; nem hozzáférés-vezérlési mechanizmus.
Asted Cloud
Hozzászólások (0)
Oszd meg a véleményed — kérjük, légy udvarias és maradj a témánál.
Jelentkezz be a hozzászóláshoz