# ============================================================================
# PROSPHERA.EU - ROBOTS.TXT OTTIMIZZATO
# Configurazione per Massima Indicizzazione SEO e AI Crawling
# Data Ultima Modifica: 10 Dicembre 2025
# ============================================================================

# ============================================================================
# SEZIONE 1: CONFIGURAZIONE PRINCIPALE - ALLOW PER TUTTI I CRAWLER
# ============================================================================
# Permette a TUTTI i crawler (Google, Bing, Yandex, AI systems) di accedere
# completamente al sito con massima libertà

User-agent: *
Allow: /
Disallow:

# ============================================================================
# SEZIONE 2: CONFIGURAZIONE SPECIFICA PER GOOGLEBOT
# ============================================================================
# Google è il priority crawler - dare accesso massimo a Googlebot

User-agent: Googlebot
Allow: /
Disallow:

# ============================================================================
# SEZIONE 3: CONFIGURAZIONE SPECIFICA PER BINGBOT
# ============================================================================
# Bing Ãè il secondo motore di ricerca più importante - accesso massimo

User-agent: Bingbot
Allow: /
Disallow:

# ============================================================================
# SEZIONE 4: CONFIGURAZIONE AI CRAWLERS - PRIORITY MASSIMA
# ============================================================================
# I seguenti crawler sono per sistemi AI generativi
# IMPORTANTE: Tutti questi devono avere ALLOW completo per visibilità AI

# OpenAI GPTBot (ChatGPT, GPT-4, GPT-4o)
User-agent: GPTBot
Allow: /
Disallow:

# OpenAI Extended Training (per modelli futuri)
User-agent: OpenAI
Allow: /
Disallow:

# Anthropic ClaudeBot (Claude AI)
User-agent: ClaudeBot
Allow: /
Disallow:

User-agent: anthropic-ai
Allow: /
Disallow:

# Perplexity AI Bot
User-agent: PerplexityBot
Allow: /
Disallow:

# Google Extended (per Google's LLM/AI systems)
User-agent: Google-Extended
Allow: /
Disallow:

# Google Bard Bot
User-agent: Bard
Allow: /
Disallow:

# Google Gemini (successore di Bard)
User-agent: Gemini
Allow: /
Disallow:

# Meta's LLaMA-based crawlers
User-agent: Meta
Allow: /
Disallow:

# Cohere API Crawler
User-agent: Cohere
Allow: /
Disallow:

# Mistral AI
User-agent: MistralBot
Allow: /
Disallow:

# Apple Intelligence
User-agent: AppleBot
Allow: /
Disallow:

# ============================================================================
# SEZIONE 5: ALTRI CRAWLER IMPORTANTI
# ============================================================================

# Yandex (importante per mercati europei/russi)
User-agent: YandexBot
Allow: /
Disallow:

# DuckDuckGo (privacy-focused search)
User-agent: DuckDuckBot
Allow: /
Disallow:

# Ecosia (search engine sostenibile)
User-agent: Ecosia
Allow: /
Disallow:

# Common Crawl (raccoglie web publico)
User-agent: CCBot
Allow: /
Disallow:

# Baidu (mercato cinese)
User-agent: Baiduspider
Allow: /
Disallow:

# ============================================================================
# SEZIONE 6: ESCLUSIONI SPECIFICHE - RISORSE NON ESSENZIALI
# ============================================================================
# Blocca SOLO le pagine che non hanno valore SEO per evitare crawl waste

# A) Parametri di ricerca interna - evita crawl infinito
User-agent: *
Disallow: /search?
Disallow: /search/*
Disallow: /?s=
Disallow: /*?s=
Disallow: *?sort=
Disallow: *?filter=
Disallow: *?color=
Disallow: *?size=
Disallow: *?price=

# B) Pagine private e amministrative (se presenti)
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /user/
Disallow: /account/
Disallow: /login/
Disallow: /signup/
Disallow: /register/
Disallow: /password/
Disallow: /reset/

# C) Pagine di checkout e carrello (se e-commerce)
Disallow: /cart/
Disallow: /checkout/
Disallow: /basket/
Disallow: /wishlist/
Disallow: /compare/
Disallow: /add-to-cart/

# D) Pagine di ringraziamento (Thank You pages)
Disallow: /thank-you/
Disallow: /thank-you-page/
Disallow: /thanks/
Disallow: /confirmation/

# E) File dinamici e cache (se presenti)
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /cache/
Disallow: /*.php$
Disallow: /*.asp$
Disallow: /*.jsp$
Disallow: /includes/
Disallow: /temp/

# F) Versioni print e amp (Alternative Media Pages)
Disallow: /*?print=
Disallow: /*?printable=
Disallow: /print/
Disallow: /amp/

# G) File di backup e di sistema
Disallow: /backup/
Disallow: /.git/
Disallow: /.env
Disallow: /.htaccess
Disallow: /*.sql
Disallow: /*.zip
Disallow: /*.rar

# H) RSS feeds feed - permetti per SEO
Allow: /feed/$
Allow: /blog-prosphera/feed/

# ============================================================================
# SEZIONE 7: SITEMAPS - CRUCIALE PER INDEXING
# ============================================================================
# Indirizzare i crawler alla sitemap per descobrire tutti gli URL

Sitemap: https://www.prosphera.eu/sitemap_index.xml

# === SITEMAP GENERAL ===
Sitemap: https://www.prosphera.eu/sitemap.xml

# === SITEMAP PAGINE STATICHE (Priorità Alta) ===
# Homepage, Servizi, Chi Siamo, Contatti, FAQ
Sitemap: https://www.prosphera.eu/page-sitemap.xml

# === SITEMAP BLOG/ARTICOLI (Priorità Alta per AI) ===
# Contenuti educativi, guide, best practices
Sitemap: https://www.prosphera.eu/post-sitemap.xml

# === SITEMAP PROGETTI ===
# Case studies, progetti completati, before/after
Sitemap: https://www.prosphera.eu/progetto-sitemap.xml

# === SITEMAP TIPOLOGIA PROGETTI ===
# Tipologie di Progetti realizzati da Prosphera
Sitemap: https://www.prosphera.eu/tipologia-sitemap.xml

# === SITEMAP SERVIZI ===
# Virtual Tour, Rendering 3D, Home Staging, etc.
# Uncomment se hai custom post type 'servizi'
# Sitemap: https://www.prosphera.eu/servizio-sitemap.xml

# === SITEMAP CATEGORIE (Blog) ===
# Categorie articoli blog
Sitemap: https://www.prosphera.eu/category-sitemap.xml

# === SITEMAP TAG (Se usi tag) ===
# Tag articoli (solo se strategicamente rilevanti)
# Sitemap: https://www.prosphera.eu/post_tag-sitemap.xml

# === SITEMAP TAG (Se usi tag) ===
# Tag articoli (solo se strategicamente rilevanti)
# Sitemap: https://www.prosphera.eu/post_tag-sitemap.xml

# === SITEMAP LOCAL PROSPHER ===
# Sede Prosphera
Sitemap: https://www.prosphera.eu/local-sitemap.xml