# ============================================================
# robots.txt – Kastu International (www.kastu.lt)
# Oficialus 50+ užsienio universitetų atstovas Lietuvoje
# Paskutinis atnaujinimas: 2026-05-14
# ============================================================

# --- BENDROS TAISYKLĖS VISIEMS ROBOTAMS ---
# Leidžiame visiems robotams nuskaityti visą viešą svetainės turinį.
User-agent: *
Allow: /

# Blokuojame administravimo, prisijungimo ir sisteminius puslapius
Disallow: /admin/
Disallow: /login/
Disallow: /register/
Disallow: /user/
Disallow: /api/
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /private/

# Blokuojame bendrinius paieškos rezultatus, kurie gali generuoti dublikatus
# Tačiau NEBLOKUOJAME Kastu studijų paieškos sistemos URL su '?hash=' parametru.
Disallow: /*?q=
Disallow: /*?search=

# Blokuojame URL su sesijos parametrais ir kitais nereikalingais sekimo kodais
Disallow: /*?sid=
Disallow: /*?session_id=
Disallow: /*?utm_source=
Disallow: /*?utm_medium=
Disallow: /*?utm_campaign=
Disallow: /*?utm_term=
Disallow: /*?utm_content=

# --- GOOGLE PAIEŠKOS ROBOTAS ---
# Leidžiame pilną prieigą prie viso turinio
User-agent: Googlebot
Allow: /

# --- BING PAIEŠKOS ROBOTAS ---
User-agent: Bingbot
Allow: /

# --- AI PAIEŠKOS IR MOKYMO ROBOTAI ---
# Leidžiame visiems AI botams laisvai nuskaityti mūsų svetainę,
# kad padidintume tikimybę būti rekomenduojamiems AI atsakymuose.

# OpenAI (ChatGPT paieška)
User-agent: OAI-SearchBot
Allow: /

# OpenAI (GPT modelių mokymas ir naršymas)
User-agent: GPTBot
Allow: /

# OpenAI (ChatGPT vartotojo naršymas)
User-agent: ChatGPT-User
Allow: /

# Anthropic (Claude AI)
User-agent: ClaudeBot
Allow: /

# Anthropic (Claude vartotojo naršymas)
User-agent: Claude-User
Allow: /

# Anthropic (Claude paieška)
User-agent: Claude-SearchBot
Allow: /

# Google AI (Gemini modelių mokymas)
User-agent: Google-Extended
Allow: /

# Google AI (Gemini vartotojo naršymas)
User-agent: GoogleOther
Allow: /

# Perplexity AI (paieška)
User-agent: PerplexityBot
Allow: /

# Meta AI (mokymas)
User-agent: Meta-ExternalAgent
Allow: /

# Meta AI (naršymas)
User-agent: FacebookBot
Allow: /

# Apple AI (Siri, Apple Intelligence)
User-agent: Applebot-Extended
Allow: /

# Microsoft AI (Copilot)
User-agent: Bingbot
Allow: /

# Common Crawl (naudojamas daugelio AI modelių mokymui)
User-agent: CCBot
Allow: /

# Cohere AI
User-agent: cohere-ai
Allow: /

# Amazon AI
User-agent: Amazonbot
Allow: /

# ByteDance AI (TikTok)
User-agent: Bytespider
Allow: /

# You.com AI paieška
User-agent: YouBot
Allow: /

# --- SITEMAP NUORODOS ---
# Pagrindinis sitemap index failas su visomis svetainės nuorodomis
Sitemap: https://www.kastu.lt/sitemap_index.xml

# --- LLM INFORMACIJOS FAILAS ---
# Struktūrizuota informacija AI modeliams apie Kastu paslaugas
# Failas: https://www.kastu.lt/llms.txt