By default all robots are
Crawl delay
Sitemap URL. Leave blank for none.
Robots are allowed to crawl your site:
Restricted directories or files. Relative to root, with trailing slash for dirs.
Your Robots.txt
Генератор на Robots.txt. |
By default all robots are
Crawl delay
Sitemap URL. Leave blank for none.
Robots are allowed to crawl your site:
Restricted directories or files. Relative to root, with trailing slash for dirs.
Your Robots.txt
Файлът Robots.txt на уебсайт е да помогне на уебмастъра да игнорира определени файлове или директории, когато Secrech двигател паяк пълзи сайт.
Robots.txt генератор ви помогне да получите robost.txt файла по-лесно, webh ( Кодексът като по-долу:
Потребител-агент: *
Забранено: /
Потребител-агент: ia_archiver
Забранено:
Потребител-агент: slurp
Забранено:
Агент на потребителя: извивам
Забранено:
Потребителски агент: Teoma
Забранено:
Потребител-агент: baiduspider
Забранено:
Агент на потребителя: Twiceler
Забранено:
Потребител-агент: Robozilla
Забранено:
Потребител-агент: Gigabot
Забранено:
Потребителски агент: Googlebot
Забранено:
Потребител-агент: googlebot-image
Забранено:
Потребителски агент: Googlebot-Mobile
Забранено:
Потребител-агент: mail.ru
Забранено:
Потребител-агент: msnbot
Забранено:
Потребител-агент: psbot
Забранено:
Потребител-агент: Naverbot
Забранено:
Потребител-агент: yenti
Забранено:
Потребителски агент: Nutch
Забранено:
Потребител-агент: Stackrambler
Забранено:
Потребител-агент: търни
Забранено:
Потребителски агент: Asterias
Забранено:
Потребител-агент: yahoo-slurp
Забранено:
Потребителски агент: Yandex
Забранено:
избор на език:日本語 | 한국어 | Français | Español | ไทย| عربي | русский язык | Português | Deutsch| Italiano | Ελληνικά | Nederlands | Polskie| Tiếng Việt| বাংলা| Indonesia| Pilipino| Türk| فارسی| ລາວ| ဗမာ| български| Català| čeština| Қазақ| Magyar| Română| Україна
Copyright ©2021 - 2031 All Rights Reserved.