# Robots.txt для сайта байдарочных туров
# Разрешает индексацию основного контента и блокирует техничские/админские разделы

User-agent: *

# Разрешаем индексацию основных страниц
Allow: /
Allow: /ru/
Allow: /img/

# Блокируем админскую панель и техническую информацию
Disallow: /contentadmin/
Disallow: /textadmin/

# Блокируем служебные файлы, если они есть
Disallow: /*.php$
Disallow: /config/
Disallow: /includes/
Disallow: /temp/
Disallow: /tmp/
Disallow: /backup/
Disallow: /logs/

# Разрешаем доступ к основным файлам для поисковых систем
Allow: /robots.txt
Allow: /sitemap.xml
Allow: /favicon.png
Allow: /favicon.ico

# Настройки для специфических ботов
User-agent: Googlebot
Allow: /
Disallow: /contentadmin/
Disallow: /textadmin/

User-agent: Bingbot
Allow: /
Disallow: /contentadmin/
Disallow: /textadmin/

# Указываем расположение карты сайта (если будет создана)
Sitemap: https://baidarki.kharkiv.ua/sitemap.xml

# Время ожидания между запросами (в секундах) - оптимально для туристического сайта
Crawl-delay: 1