Vai al contenuto
Strumento gratuito · Tecnico

Tester e generatore di robots.txt

Verifica se Googlebot, Bingbot o i crawler AI come GPTBot e PerplexityBot possono accedere a un URL, trova gli errori nel file e crea un robots.txt nuovo.

Fonte

Analisi gratuite rimaste oggi: 40

Come funziona

Tre passaggi, zero configurazione

1

Inserisci il dominio

Oppure incolla il contenuto di un robots.txt da testare prima di pubblicarlo.

2

Scegli URL e user-agent

Googlebot, Bingbot, GPTBot, ClaudeBot, PerplexityBot o personalizzato.

3

Leggi il verdetto

Consentito o bloccato, con la regola che lo determina.

Un file piccolo con un impatto enorme

Una sola riga sbagliata nel robots.txt può bloccare la scansione dell'intero sito, oppure lasciare fuori proprio i crawler AI che alimentano ChatGPT e Perplexity. Il tester applica le stesse regole di Google: vince la regola più lunga e, a parità, Allow batte Disallow.

Oltre al verdetto per lo user-agent scelto, mostriamo in una tabella cosa vedono i principali bot di ricerca e di intelligenza artificiale e segnaliamo gli errori di sintassi. Nella scheda Genera puoi creare un file nuovo con le policy per i bot AI.

Strumenti gratuiti

Potrebbero servirti anche

Tecnico

Test velocità e Core Web Vitals

Punteggio prestazioni, LCP, CLS, INP e opportunità di Google.

Usalo gratis
Tecnico

Controllo redirect e status

Catene 301/302, loop e status code, anche per le varianti www/https.

Usalo gratis
SEO

Analisi SEO on-page

Punteggio SEO e lista di problemi prioritizzati per qualsiasi URL.

Usalo gratis
FAQ

Domande frequenti

No. Disallow impedisce la scansione, non l'indicizzazione: una pagina bloccata può comparire comunque se riceve link. Per escluderla usa il meta tag noindex (e lasciala scansionabile).

Pronto a farti trovare su Google e nelle risposte delle AI?

Inizia la prova gratuita