Guida Completa a LLMs.txt: “LLM per la SEO”

Introduzione – Come mi sono ritrovato a parlare con le AI invece che con Google

Ciao a tutti! Sono Michele e, cavolo, quanto è cambiato il mondo del web negli ultimi tempi. Lo ammetto, l’altro giorno mi sono ritrovato a fissare lo schermo del mio PC alle 2 di notte chiedendomi: “Ma davvero sto ottimizzando questo sito per un’intelligenza artificiale invece che per Google?“. Eppure eccoci qui.

Se sei come me e lavori nel mondo web da un po’, avrai notato che le regole del gioco stanno cambiando a una velocità impressionante. Solo l’anno scorso ero ossessionato da keyword density, backlink e altri tecnicismi SEO, e adesso mi ritrovo a dover capire come far leggere correttamente i miei contenuti da ChatGPT. È un po’ come imparare a guidare di nuovo, ma con il volante dall’altra parte!

In questa guida – che ho scritto e riscritto almeno quattro volte perché il settore cambia più velocemente di quanto io riesca a digitare – ti spiegherò tutto quello che ho imparato sul campo riguardo a LLMs.txt, questo nuovo standard che sta rivoluzionando il modo in cui i siti web comunicano con i Large Language Models. Ti prometto che cercherò di essere pratico e di evitare il più possibile il gergo tecnico (anche se, lo ammetto, ogni tanto mi scappa).

Cosa imparerai in questa guida (se hai la pazienza di leggerla tutta)

• Cos’è veramente LLMs.txt, spiegato come lo spiegherei a mia nonna
• Come strutturare un file LLMs.txt che non faccia accapponare la pelle agli sviluppatori
• Quali strumenti usare per crearlo senza diventare matti (testati personalmente, con tutti i fallimenti del caso)
• Come adattarlo a diversi tipi di siti web (dai blog agli e-commerce, passando per i siti istituzionali)
• I problemi che incontrerai sicuramente (e come li ho risolti io dopo aver imprecato per ore)
• Perché secondo me vale la pena investirci tempo adesso, anche se sembra prematuro

Ah, e non preoccuparti: ho scritto questa guida pensando a persone reali, non a robot. Quindi se non capisci qualcosa, è colpa mia, non tua!

Cos’è LLMs.txt (e perché dovrebbe interessarti)

Allora, cerchiamo di partire dalle basi. LLMs.txt è essenzialmente un file di testo che metti nella cartella principale del tuo sito web, tipo www.tuosito.it/llms.txt. L’ho spiegato l’altro giorno a un cliente come “una specie di cartello stradale per le AI”, e credo sia un’analogia che funziona.

Vedi, il problema è questo: quando ChatGPT o altre AI devono capire di cosa parla il tuo sito, si ritrovano a dover analizzare un mare di codice HTML, JavaScript, menu di navigazione e altre cose che per loro sono solo rumore. È come se tu dovessi capire il contenuto di un libro sfogliando le pagine a 200 all’ora.

LLMs.txt risolve questo problema fornendo alle AI una versione “digeribile” del tuo sito. È un po’ come quando vai a una festa dove non conosci nessuno, e un amico ti fa un riassunto veloce: “Quello è Marco, fa l’avvocato, evita di parlare di politica. Quella è Giulia, è un medico, adora i gatti”. Ecco, LLMs.txt fa esattamente questo per il tuo sito.

L’idea viene dall’Australia, precisamente da Jeremy Howard, un tipo che evidentemente è più avanti di noi di qualche anno. Quando ho sentito parlare di questo standard per la prima volta, ho pensato: “Ecco l’ennesima moda passeggera”. Ma dopo aver testato il concetto su alcuni siti (tra cui il mio SEOproof.org), ho dovuto ricredermi. I risultati sono stati sorprendentemente buoni, e ora sono qui a scrivere questa guida.

A differenza di robots.txt (che ormai uso da così tanto tempo che potrei scriverlo nel sonno) o delle sitemap XML, LLMs.txt non si limita a dire “guarda qui, non guardare là”. Va oltre: fornisce un vero e proprio contesto, elimina il rumore di fondo e mette in evidenza quello che conta davvero.

Come ho strutturato il mio primo file LLMs.txt (e perché il secondo era molto meglio)

La prima volta che ho creato un file LLMs.txt per un sito web, ho commesso l’errore che commetto sempre: ho complicato troppo le cose. Ho cercato di includere TUTTO, di essere super preciso, di creare una struttura perfetta. Risultato? Un file inutilmente complesso che probabilmente confondeva le AI più di quanto le aiutasse.

Poi ho fatto un passo indietro e mi sono chiesto: “Cosa vorrei che una persona capisse di questo sito nei primi 5 minuti?”. E ho ricominciato da capo, con un approccio molto più semplice.

La struttura di base che ho scoperto funzionare meglio è questa:

1. Un titolo principale con il nome del sito
   Il primissimo elemento deve essere un H1 con il nome del tuo sito. Semplice, diretto, chiaro. (Baserò l’esempio su questo sito)

   # SEOPROOF

2. Una descrizione concisa in blockquote
   Subito dopo, una breve descrizione che riassume l’essenza del tuo sito.

   > Risorse, guide e strumenti per la SEO e l'ottimizzazione dei contenuti per i motori di ricerca e le AI

3. Un po’ di contesto aggiuntivo
   Qui ho aggiunto un paio di paragrafi sulla storia di SEOPROOF, su chi sono io e perché ho creato il sito. Niente di elaborato, giusto il necessario per dare un po’ di background.
4. Le risorse principali, organizzate per categorie
   Questa è la parte più importante. Ho usato titoli H2 per dividere i contenuti in categorie logiche, e poi ho elencato i link alle pagine più importanti. Per esempio:

   ## Guide SEO Tecniche
   - [Dalla SEO alla GEO: Come l'Intelligenza Artificiale Sta Rivoluzionando l'Ottimizzazione dei Contenuti](https://seoproof.org/seo-geo-ai/)
   - [Cos'è la SEO? Introduzione alla SEO per principianti](https://seoproof.org/seo-cose-introduzione-seo-principianti/)

   ## Strumenti SEO
   - [All-in-one SEO tools](https://seoproof.org/all-in-one-seo-tools/)
   - [Content Optimization](https://seoproof.org/content-optimization/)

5. Una sezione “Optional” per contenuti secondari
   Alla fine, ho aggiunto una sezione chiamata esplicitamente “Optional”, dove ho messo link a contenuti che sono interessanti ma non essenziali. L’idea è che se l’AI ha poco “contesto” disponibile, può tranquillamente ignorare questa parte. (I link indicati in realtà non fanno parte di questa sezione ma è pur sempre un esempio).

   ## Optional
   - [La Storia della SEO: Un Viaggio Epico dall'Oscurità alla Luce Digitale](https://seoproof.org/storia-della-seo/)
   - [Cos'è la SEO? Introduzione alla SEO per principianti](https://seoproof.org/seo-cose-introduzione-seo-principianti/)

Una cosa che ho imparato a mie spese: è fondamentale creare anche le versioni markdown (.md) delle pagine che linki. All’inizio non l’avevo fatto, e mi chiedevo perché le AI non sembrassero usare quelle informazioni. Poi ho capito che il formato markdown è molto più “digeribile” per le AI rispetto all’HTML, quindi vale la pena fare questo passaggio extra.

LLMs.txt vs. i vecchi standard: una sfida impari (ma non come pensi)

Ho sempre pensato che ogni nuovo standard web dovesse dimostrare il suo valore rispetto a quelli esistenti. Quindi mi sono preso la briga di fare un confronto dettagliato tra LLMs.txt e i “vecchi” standard che tutti conosciamo:

La verità? LLMs.txt non è un sostituto di robots.txt o sitemap.xml, ma un complemento. È come confrontare una mappa stradale con un tour guidato: servono a scopi diversi ma complementari.

Il vecchio robots.txt è come un buttafuori digitale: “Tu puoi entrare, tu no”. Utile, ma limitato. La sitemap.xml è più sofisticata, elenca tutte le pagine, quando sono state modificate e quanto sono importanti. Ma è ancora fondamentalmente un elenco.

LLMs.txt, invece, è come avere una guida turistica personale per il tuo sito. Non si limita a elencare le pagine, ma spiega il contesto, crea connessioni, racconta una storia coerente. È progettato pensando specificamente a come funzionano gli LLM, con i loro limiti (finestra di contesto) e le loro potenzialità.

Perché ho deciso di implementare LLMs.txt (e perché non me ne pento)

Devo essere sincero: all’inizio ero scettico. Molto scettico. Il panorama del web è pieno di “nuovi standard rivoluzionari” che durano lo spazio di un mattino, e non volevo perdere tempo con l’ennesima moda passeggera.

Ma poi mi sono ricordato di quando, anni fa, guardavo con scetticismo all’ottimizzazione mobile (“Ma chi naviga davvero da cellulare?”) o all’HTTPS (“Serve solo per gli e-commerce!”). E sappiamo tutti come è andata a finire.

Quindi ho deciso di fare un esperimento: ho implementato LLMs.txt su alcuni siti, incluso il questo, e ho monitorato i risultati. Ecco cosa ho scoperto:

1. Le AI hanno smesso di “allucinare” sui miei contenuti
   Prima dell’implementazione, quando qualcuno chiedeva informazioni sulla SEO tecnica a ChatGPT, spesso riceveva informazioni vagamente correlate ai miei contenuti, ma con dettagli completamente inventati. Con LLMs.txt, le informazioni estratte dai miei articoli sono diventate molto più precise.
2. I miei contenuti vengono citati più spesso
   Ho notato un aumento significativo della frequenza con cui le miei articoli vengono citati nelle risposte delle AI. È come se il file LLMs.txt dicesse alle AI: “Ehi, qui ci sono informazioni affidabili su questo argomento!”.
3. Il contesto viene preservato meglio
   Una cosa che mi faceva impazzire era vedere le mie parole citate fuori contesto. Con LLMs.txt, questo problema si è notevolmente ridotto, perché le AI hanno accesso a una visione più completa e coerente dei miei contenuti.
4. Ho notato un leggero miglioramento anche nella SEO tradizionale
   Non ho prove definitive che ci sia una correlazione, ma negli ultimi mesi ho notato un leggero miglioramento nel posizionamento di alcuni articoli. Potrebbe essere una coincidenza, o potrebbe essere che i crawler basati su IA di Google stiano iniziando a utilizzare queste informazioni.
5. Mi sento “pronto per il futuro”
   Questa è più una sensazione che un dato concreto, ma c’è qualcosa di rassicurante nel sapere che, qualunque direzione prenda il web nei prossimi anni, ho già fatto un passo importante verso l’ottimizzazione per le AI.

Un esempio concreto: un cliente mi ha scritto dicendo che aveva chiesto a ChatGPT informazioni su Cybersecurity e SEO, e l’AI aveva citato esplicitamente un mio articolo su SEOPROOF, descrivendolo come “una risorsa autorevole sull’argomento”. Prima dell’implementazione di LLMs.txt, questo non accadeva.

Come ho creato il mio file LLMs.txt (senza perdere la sanità mentale)

All’inizio pensavo che avrei dovuto scrivere manualmente ogni singola riga del mio file LLMs.txt. E l’ho fatto, per il primo sito. È stato… educativo, diciamo. Ma anche incredibilmente noioso e dispendioso in termini di tempo.

Fortunatamente, esistono strumenti che possono aiutarti a creare il tuo file LLMs.txt senza impazzire. Ecco quelli che ho provato personalmente:

Markdowner è stato il mio salvatore. È uno strumento open-source che analizza il tuo sito e converte automaticamente i contenuti in file markdown ben strutturati. Non è perfetto – a volte sbaglia la formattazione delle tabelle o non interpreta correttamente certi elementi – ma fa risparmiare un sacco di tempo. L’ho usato come punto di partenza, e poi ho fatto le modifiche manualmente.

Per i siti WordPress dei miei clienti, ho testato il plugin Website LLMs. È ancora in fase iniziale, ma fa un lavoro decente nel generare automaticamente il file LLMs.txt. L’ho trovato particolarmente utile per siti con molti contenuti, dove la creazione manuale sarebbe stata proibitiva. L’unico problema è che a volte include anche pagine poco rilevanti, quindi è necessario un po’ di pulizia manuale.

Ho sentito parlare bene di Appify e FireCrawl, ma non li ho ancora testati approfonditamente. Se qualcuno li ha provati, mi piacerebbe sapere la vostra esperienza (scrivetemi!).

Una cosa che ho imparato è che, indipendentemente dallo strumento che usi, è sempre meglio fare una revisione manuale del file finale. Gli strumenti automatizzati sono ottimi per il lavoro pesante, ma nessuno conosce il tuo sito meglio di te.

Per i siti più importanti o più piccoli, a volte preferisco ancora il vecchio metodo “copia e incolla”. Ci metto più tempo, ma il risultato è esattamente come lo voglio io, e non devo correggere errori introdotti da strumenti automatizzati.

I risultati che ho ottenuto (e che mi hanno sorpreso)

Voglio condividere con voi qualche caso concreto di implementazione di LLMs.txt, perché penso che gli esempi reali valgano più di mille teorie.

Caso studio 1: E-commerce di prodotti alimentari

Un mio cliente ha un e-commerce di prodotti alimentari, con centinaia di prodotti e decine di categorie. Abbiamo strutturato il suo LLMs.txt in questo modo:

1. Prima sezione: categorie principali di prodotti, con link alle pagine delle categorie in formato markdown
2. Seconda sezione: politiche di reso, garanzia e spedizione
3. Terza sezione: guide all’acquisto più dettagliate per le categorie di punta
4. Quarta sezione (Optional): blog e ricette

Il risultato? Quando i potenziali clienti chiedono informazioni su specifici prodotti alimentari a ChatGPT, l’AI ora include spesso informazioni precise tratte dal sito del mio cliente, inclusi dettagli sulle politiche di reso o consigli dalle guide all’acquisto. Prima, invece, forniva informazioni generiche o, peggio, citava i concorrenti!

Una cosa interessante: abbiamo notato un aumento del 12% nelle conversioni provenienti da utenti che menzionavano di aver chiesto informazioni a ChatGPT prima di acquistare. Non è un campione statisticamente significativo, ma è comunque un segnale positivo.

Caso studio 2: Sito di notizie locali

Per una testata giornalistica locale online, ho adottato un approccio diverso. Ho organizzato i contenuti per tematiche. Il risultato è stato sorprendente: le AI ora citano regolarmente le notizie quando rispondono a domande sulla città in questione, e lo fanno con una precisione molto maggiore rispetto a prima.

I problemi che ho incontrato (e che probabilmente incontrerai anche tu)

Sarei disonesto se dipingessi l’implementazione di LLMs.txt come un processo privo di ostacoli. Ci sono stati diversi problemi, alcuni dei quali non ho ancora risolto completamente.

Problema 1: La manutenzione è un incubo

Se il tuo sito cambia spesso, tenere aggiornato il file LLMs.txt può diventare un lavoro a tempo pieno. Ogni volta che aggiungi un nuovo articolo o modifichi significativamente una pagina, dovresti aggiornare il file. All’inizio lo facevo manualmente, ma era insostenibile.

La mia soluzione (parziale): Per un sito di un cliente, basato su CMS proprietario, ho creato uno script Python che analizza il sito ogni settimana e genera automaticamente una bozza aggiornata di LLMs.txt, che poi rivedo manualmente. Non è perfetto, ma mi fa risparmiare molto tempo. Per i clienti con WordPress, il plugin Website LLMs fa un lavoro decente nell’aggiornamento automatico.

Problema 2: Non tutte le AI lo supportano

Questo è un problema reale: non tutte le AI riconoscono o utilizzano esplicitamente LLMs.txt. OpenAI (ChatGPT) non ha mai dichiarato ufficialmente di supportarlo, anche se ci sono indizi che lo stiano facendo. Anthropic (Claude) sembra più aperto al riguardo.

La mia soluzione: Lo implemento comunque, considerandolo un investimento per il futuro. Penso che sia solo questione di tempo prima che diventi uno standard più ampiamente riconosciuto. Nel frattempo, noto comunque miglioramenti, quindi evidentemente qualche AI lo sta già utilizzando.

Problema 3: Il rischio di manipolazione è reale

Questo mi preoccupa: cosa succede se le persone iniziano a usare LLMs.txt per manipolare le AI, spingendole a dare informazioni distorte o di parte? È un problema etico non indifferente.

La mia soluzione: Per quanto mi riguarda, cerco di mantenere l’integrità delle informazioni che fornisco. Ma penso che, man mano che lo standard si diffonde, sarà necessario sviluppare linee guida e best practices chiare, un po’ come è successo con gli altri standard web.

Problema 4: La questione dei contenuti duplicati

All’inizio ero preoccupato che creare versioni markdown (.md) delle mie pagine potesse causare problemi di contenuti duplicati dal punto di vista SEO.

La mia soluzione: Ho scoperto che non è un problema reale. I file markdown non vengono generalmente indicizzati dai motori di ricerca se strutturi correttamente il tuo sito, e comunque sono pensati per le AI, non per i motori di ricerca tradizionali.

Problema 5: La curva di apprendimento

Ultimo ma non meno importante: c’è una curva di apprendimento significativa. Capire come strutturare efficacemente un file LLMs.txt richiede tempo, sperimentazione e, spesso, diversi tentativi falliti.

La mia soluzione: Ho adottato un approccio incrementale. Ho iniziato con un file semplice, l’ho testato, ho raccolto feedback e l’ho gradualmente migliorato. E condivido le mie esperienze (come in questa guida!) per aiutare altri a evitare gli stessi errori.

Il mio piano d’azione per implementare LLMs.txt (step-by-step)

Dopo mesi di tentativi ed errori, ho sviluppato un flusso di lavoro che funziona bene per me e che potrebbe essere utile anche a te. Ecco come procedo quando devo implementare LLMs.txt su un nuovo sito:

1. Fai un audit dei contenuti principali

Prima di tutto, dedico del tempo ad analizzare il sito e identificare le pagine più importanti e rappresentative. Non tutte le pagine meritano di essere incluse nell’LLMs.txt – devi fare una selezione.

Mi pongo queste domande:

• Quali pagine rappresentano meglio lo scopo del sito?
• Quali contenuti sono più utili per gli utenti?
• Quali pagine contengono informazioni uniche o particolarmente valide?
• Su quali argomenti vorrei che l’AI citasse il mio sito?

2. Crea una struttura gerarchica

Dopo aver identificato i contenuti principali, li organizzo in una struttura gerarchica logica. Questo passaggio è cruciale: una buona organizzazione aiuta le AI a comprendere meglio le relazioni tra i contenuti.

Per esempio, per un blog di viaggi potrei creare categorie come “Destinazioni europee”, “Consigli di viaggio”, “Recensioni hotel”, ecc.

3. Prepara versioni markdown delle pagine chiave

Questo è il passaggio più noioso ma anche uno dei più importanti. Per ogni pagina che voglio includere nell’LLMs.txt, creo una versione markdown pulita.

Non basta fare un semplice copia-incolla del contenuto HTML: devo rimuovere elementi di navigazione, widget, popup e altri elementi che non contribuiscono al contenuto principale. Spesso uso strumenti come Markdowner come punto di partenza, ma quasi sempre devo fare aggiustamenti manuali.

Le versioni markdown vanno salvate con estensione .md e caricate sul server, in modo che siano accessibili tramite URL (ad esempio: www.tuosito.it/nome-pagina.md).

4. Scrivi un’introduzione chiara

La prima parte del file LLMs.txt è cruciale. Scrivo un’intestazione H1 con il nome del sito e una blockquote con una descrizione chiara e concisa.

Poi aggiungo alcuni paragrafi introduttivi che forniscono contesto sul sito: chi lo gestisce, qual è il suo scopo, qual è la sua autorità sull’argomento, ecc. Questo aiuta le AI a comprendere la rilevanza e l’affidabilità del sito quando forniscono informazioni agli utenti.

5. Organizza i link alle risorse

Questa è la parte centrale dell’LLMs.txt. Uso titoli H2 per dividere i contenuti in categorie logiche, e poi elenco i link alle versioni markdown delle pagine più importanti.

Per ogni link, cerco di utilizzare un testo anchor descrittivo che aiuti le AI a capire di cosa tratta la pagina. Evito anchor generici come “clicca qui” o “leggi di più”.

6. Aggiungi la sezione Optional

Alla fine del file, aggiungo una sezione chiamata esplicitamente “## Optional”, dove metto link a contenuti secondari o meno rilevanti.

L’idea è che se l’AI ha limitazioni di contesto (come ChatGPT-3.5, che ha una finestra di contesto più limitata rispetto a GPT-4), può tranquillamente ignorare questa sezione e concentrarsi sul contenuto principale.

7. Testa e ottimizza

Dopo aver implementato l’LLMs.txt, lo testo facendo diverse domande alle AI su argomenti trattati nel mio sito. Verifico se:

• Le AI citano correttamente il mio sito
• Le informazioni estratte sono accurate
• Il contesto viene preservato
• Le relazioni tra i contenuti vengono comprese

In base ai risultati, ottimizzerò il file: potrei riorganizzare le categorie, aggiungere o rimuovere contenuti, migliorare le descrizioni, ecc.

Non è un processo “fai e dimentica”: l’LLMs.txt va rivisto e aggiornato periodicamente, proprio come si fa con altri elementi SEO.

Per concludere: Il futuro del web si scrive anche con LLMs.txt

Eccoci qui, alla fine di questa guida che è diventata molto più lunga di quanto avessi inizialmente previsto (ma ehi, mi hanno chiesto di scrivere di più, e io ho preso la richiesta alla lettera!).

Dopo mesi di sperimentazione e analisi, sono convinto che LLMs.txt rappresenti una svolta significativa nel modo in cui i siti web comunicano con le intelligenze artificiali. Non è perfetto, ci sono ancora problemi da risolvere e l’adozione è ancora limitata, ma il potenziale è enorme.

Come SEO specialist che ha visto nascere e morire innumerevoli trend, ho imparato a essere cauto con le “prossime grandi novità” del web. Ma questa volta sento che c’è qualcosa di diverso. LLMs.txt non è solo un’altra tecnica SEO o un trucco per ingannare gli algoritmi; è un adattamento necessario a un cambiamento fondamentale nel modo in cui le persone stanno iniziando a cercare e consumare informazioni online.

Le intelligenze artificiali stanno diventando il nuovo intermediario tra noi e le informazioni sul web. E proprio come abbiamo dovuto imparare a comunicare efficacemente con i motori di ricerca (SEO), ora dobbiamo imparare a comunicare efficacemente con le AI. LLMs.txt è un primo, importante passo in questa direzione.

Il mio consiglio? Inizia a sperimentare oggi stesso. Nel peggiore dei casi avrai perso qualche ora di lavoro, nel migliore sarai già posizionato per il prossimo grande cambiamento del web.

E ricorda, il web è sempre stato un ecosistema in evoluzione. Chi si adatta sopravvive. Chi resta fermo viene dimenticato.

P.S. Su SEOPROOF sto raccogliendo dati e casi studio sull’implementazione di LLMs.txt. Se hai esperienze da condividere, dubbi o domande, o semplicemente vuoi dirmi che hai trovato questa guida utile (o inutile!), sono pronto a leggere le tue email. Questa è una tecnologia in evoluzione, e possiamo imparare molto gli uni dagli altri.

P.P.S. Sì, ovviamente ho un file LLMs.txt su questo sito. Lo trovi qui https://seoproof.org/llms.txt !