User-agent: *
Allow: /

# Основной сайт
Sitemap: {{ request.scheme }}://{{ request.get_host }}/sitemap.xml

# Запрещаем служебные разделы
Disallow: /admin/
Disallow: /media/cache/
Disallow: /static/admin/
Disallow: /callback/
Disallow: /api/

# Разрешаем индексацию статических файлов
Allow: /static/
Allow: /media/

# Указываем главное зеркало
Host: {{ request.scheme }}://{{ request.get_host }}