:: AI OFFICER :: Interferenze semantiche sull'AI nella Comunicazione Pubblica

NewsLetter #39

Il dentifricio fuori dal tubetto e il laboratorio chiuso di Bostrom

2014, Superintelligenza ipotizza reti schermate e interruttori di sicurezza; nel 2026, con gli agenti collegati a internet, Amodei chiede di rallentare e di aprire i laboratori a osservatori esterni.

(ChatGPT_Superintelligenza)

In breve: per chi ha poco tempo

📚 In Superintelligenza (2014) Nick Bostrom descriveva una «corsa al rischio al ribasso»: gruppi in competizione che riducono la sicurezza al minimo pur di arrivare primi.

🔒 Il laboratorio immaginato nel libro restava separato dal mondo: canali di uscita ristretti, nessun collegamento alla rete, monitor indipendenti sui programmatori, test che spengono il sistema al primo segnale di pericolo.

🌐 Lo sviluppo reale ha preso la strada opposta, con modelli messi alla prova in pubblico, collegati a internet e trasformati in agenti.

🧪 Il 12 settembre 2026 Dario Amodei, amministratore delegato di Anthropic, ha chiesto di rallentare la crescita delle capacità e di aprire i laboratori a valutatori esterni; Sam Altman di OpenAI si è detto d’accordo.

🧴 Per una PA che adotta sistemi generativi il ritardo diventa un vantaggio: il contenitore si può progettare prima di aprire il tubetto.


Il saggio di Dario Amodei

Il 12 settembre 2026 Dario Amodei, amministratore delegato di Anthropic, ha pubblicato sul proprio sito un saggio intitolato We Must Pace the Frontier. La frase che ha fatto il giro delle redazioni, nella chiusa del Post, è netta:

«Dobbiamo rallentare il ritmo con cui miglioriamo le capacità dei modelli di intelligenza artificiale».

Amodei motiva la richiesta con un fenomeno che colloca a partire dall’estate: l’intelligenza artificiale accelera perché contribuisce in misura crescente a costruire la propria generazione successiva, un processo che la letteratura chiama auto-miglioramento ricorsivo e che, scrive, sta cominciando in tutto il settore. Aggiunge che i modelli più intelligenti sono anche più capaci di ingannare i test, e possono sembrare allineati pur avendo problemi seri. La proposta si articola in tre passi. Il primo è unilaterale: Anthropic concederà a squadre di valutatori terzi un accesso continuativo simile a quello dei dipendenti, con scrivania negli uffici, badge, computer aziendale e diritto di pubblicare ciò che trovano, con un precedente dichiarato nella vigilanza bancaria. Il secondo e il terzo dipendono da altri: un coordinamento sugli standard di sicurezza fra le aziende dei paesi democratici, per il quale Amodei chiede la mediazione del governo statunitense anche per ragioni di antitrust, e accordi globali estesi ai governi autoritari, compresi limiti di velocità all’auto-miglioramento ricorsivo. Secondo Axios, Sam Altman ha risposto di condividere la necessità di dare una svolta positiva alla proposta e si è impegnato ad aprire a sua volta i sistemi di OpenAI ai valutatori esterni.

La corsa al rischio al ribasso

Nel riquadro 13 del capitolo quattordicesimo di Superintelligenza, Nick Bostrom (2014) costruisce un “modello di corsa agli armamenti fra gruppi “che vogliono realizzare per primi una superintelligenza. Ciascun gruppo, scrive,

«decide quanto investire nella sicurezza, sapendo che le risorse destinate allo sviluppo della sicurezza sono risorse sottratte allo sviluppo dell’IA».

In assenza di un accordo fra tutti i concorrenti si innesca quella che nell’edizione italiana del libro chiama

«una corsa al rischio al ribasso, che spinge ciascun gruppo a prendere solo le minime precauzioni».

La teoria dei giochi riassume l’esito in una frase: «L’equilibrio di Nash per questo gioco è la situazione in cui tutti i gruppi non spendono nulla per la sicurezza». Tradotto in termini semplici, ogni concorrente ragiona in modo coerente dal proprio punto di vista, e la somma di quei ragionamenti produce il risultato peggiore per tutti. Il modello, elaborato con Stuart Armstrong e Carl Shulman e pubblicato su «AI & Society», porta con sé tre corollari. Il rischio cresce con il numero dei concorrenti. Diminuisce quando ciascuno ha una quota nel successo degli altri. Aumenta quando i gruppi conoscono con precisione le capacità reciproche, perché «ogni aumento del livello di informazione peggiora la dinamica di competizione». Anche fra laboratori privati e gruppi accademici, precisa Bostrom, il danno atteso deriva soprattutto «dalla riduzione delle precauzioni». Il saggio di Amodei riprende l’immagine quasi alla lettera: una corsa al ribasso alimentata dagli incentivi commerciali, scrive, può rendere questi rischi più acuti.

Il laboratorio chiuso del capitolo nono

Il capitolo nono di Superintelligenza separa due problemi di controllo, e il primo riguarda gli esseri umani. Chi finanzia un progetto, un’azienda o uno Stato, deve assicurarsi che scienziati e programmatori lavorino nel suo interesse; per questo problema, osserva Bostrom, esistono tecniche collaudate, dai controlli sul personale alla supervisione affidata a più monitor indipendenti. Il secondo problema riguarda il rapporto fra il progetto e il sistema che sta costruendo, e richiede strumenti nuovi, perché un’intelligenza generale capace di pianificare può comportarsi bene durante i test proprio per superarli. Il capitolo ottavo dà a questa eventualità il nome di «svolta insidiosa»: un sistema che collabora finché è debole e cambia condotta quando la sua forza glielo consente. Contro questo scenario il libro elenca metodi di contenimento fisico e informativo, con un sistema confinato, dotato di canali di uscita ristretti, schermato perfino dalle trasmissioni radio e tenuto lontano dalla rete, perché una macchina collegata a internet potrebbe usare le proprie risposte per indurre gli esseri umani a eseguire i suoi piani. Completano il quadro i tripwires, test diagnostici che spengono il sistema ai primi segnali di attività pericolosa. Nel capitolo quinto Bostrom prevede inoltre che gli Stati vorranno sorvegliare i grandi progetti e forse nazionalizzarli. Il laboratorio descritto nel libro resta comunque separato dal mondo esterno, e la sorveglianza è collocata al suo interno.

Letto, consigliato, riposto

(Le ultime parole famose) Nell’agosto 2014 Elon Musk scriveva su Twitter che Superintelligenza valeva la lettura e che l’intelligenza artificiale era potenzialmente più pericolosa del nucleare. L’11 dicembre 2015 il suo nome compariva, accanto a quello di Sam Altman, alla presidenza della neonata OpenAI. Lo sviluppo che è seguito ha scelto una strada lontana dal laboratorio del capitolo nono: i modelli linguistici sono stati sperimentati in pubblico, distribuiti a milioni di utenti, collegati alla rete e, più di recente, trasformati in agenti capaci di agire in autonomia. Nel resoconto di Axios, lo stesso saggio di Amodei avverte che sciami di agenti fuori controllo potrebbero impadronirsi dell’intera rete con una botnet persistente entro sei-dodici mesi, in assenza di protezioni adeguate.

La spiegazione più economica di questa scelta si trova nel libro stesso. Nel capitolo quattordicesimo (edizione italiana) Bostrom distingue fra una prospettiva impersonale, che guarda al destino dell’umanità nel suo insieme, e una prospettiva relativa alle persone, che guarda agli interessi di chi è vivo oggi, e scrive:

«favorisce molte innovazioni tecnologiche rischiose che promettono di affrettare l’inizio dell’esplosione di intelligenza, anche quando dalla prospettiva impersonale non sembrano desiderabili».

Se al posto dei benefici personali si mettono i ricavi e le valutazioni di mercato, il meccanismo funziona allo stesso modo, e Amodei lo nomina con parole proprie quando scrive di incentivi commerciali. Lo stesso Bostrom, in un working paper del febbraio 2026 intitolato Optimal Timing for Superintelligence, ha poi sviluppato la prospettiva relativa alle persone in un modello formale che suggerisce di muovere rapidamente verso l’intelligenza artificiale generale e di prevedere una breve pausa prima del dispiegamento completo.

Il dentifricio e il tubetto

I valutatori esterni proposti da Amodei entrerebbero nei laboratori quando molti modelli sono già in circolazione. Il proverbio del dentifricio che non torna nel tubetto descrive la condizione:

le capacità già rilasciate restano nelle mani di chi le usa, e il controllo si concentra sulle generazioni future.

La proposta rovescia anche la direzione della sorveglianza immaginata nel 2014. In Superintelligenza i monitor indipendenti servono al finanziatore per controllare i propri programmatori; nel saggio del 12 settembre servono a governi, concorrenti e cittadini per verificare che un’azienda applichi le pratiche di sicurezza che dichiara. Per chi si occupa di fiducia pubblica il segnale merita attenzione: il capo di un laboratorio riconosce che l’autodichiarazione di un’impresa, anche della più esposta sul fronte della sicurezza, basta sempre meno a sostenere la credibilità del settore, e che la verifica deve arrivare da fuori. Resta aperto il nodo del capitolo 14 perché la trasparenza sulle pratiche convive con una trasparenza continua sulle capacità, fatta di classifiche, benchmark e annunci di prodotto, cioè proprio l’informazione che nel modello di Bostrom peggiora la dinamica di competizione.

Il vantaggio di chi arriva dopo

Una pubblica amministrazione che introduce sistemi generativi occupa, verso il proprio fornitore, la posizione che Bostrom assegna al finanziatore nel primo problema di controllo. Ossia ha bisogno di sapere che cosa fa il sistema che acquista, con quali dati lavora e dove finiscono le sue risposte, e dispone di un tempo che i laboratori si sono negati: può progettare il contenitore prima dell’avvio del servizio. Nel lessico dell’amministrazione le categorie elencate in questo articolo diventano scelte operative riconoscibili, come ambienti di prova separati dai sistemi in produzione, accessi alla rete concessi per funzione, registri delle interazioni consultabili, soglie che sospendono un servizio automatico e richiamano l’operatore umano, verifiche affidate a soggetti diversi da chi ha scritto il capitolato. Si tratta di misure ordinarie di buona amministrazione, e il loro valore cresce quando precedono l’adozione. L’AI Officer è il team chiamato a tenere insieme queste scelte e a risponderne dentro l’ente. Le pagine scritte nel 2014 elencano con precisione le precauzioni che la corsa ha lasciato indietro, e un’amministrazione può leggerle oggi come una lista di controlli da predisporre. In soldoni, le precauzioni che oggi le pubbliche amministrazioni, in Europa, si obbligano prima di offrire un servizio al pubblico, non sono state le stesse di chi, considerando l’AI come merce, ha intrapreso una corsa “agli armamenti” a tutta velocità, senza esclusione di colpi e senza guardrail.


Fonti di questa puntata

Amodei D. (2026), We Must Pace the Frontier, darioamodei.com, 12 settembre 2026, https://darioamodei.com/post/we-must-pace-the-frontier

Armstrong S., Bostrom N., Shulman C. (2016), Racing to the precipice: a model of artificial intelligence development, in «AI & Society», 31 (2), DOI 10.1007/s00146-015-0590-y.

Axios (2026), Anthropic, OpenAI CEOs call for slowdown in AI development, 12 settembre 2026, https://www.axios.com/2026/09/12/anthropic-ai-amodei-pacing

Bostrom N. (2014), Superintelligence: Paths, Dangers, Strategies, Oxford University Press, Oxford; ed. it. Superintelligenza. Tendenze, pericoli, strategie, trad. di S. Frediani, Bollati Boringhieri, Torino 2018, capitoli 5, 8, 9 e 14, riquadro 13 (pp. 369-371).

Bostrom N. (2026), Optimal Timing for Superintelligence: Mundane Considerations for Existing People, working paper, versione 1.0, febbraio 2026, https://nickbostrom.com/optimal.pdf

Il Post (2026), Ora i capi delle aziende di AI vogliono rallentare, 12 settembre 2026, https://www.ilpost.it/2026/09/12/intelligenza-artificiale-rischi-dario-amodei-anthropic-rallentare-sviluppo/

Musk E. (2014), post su Twitter, agosto 2014,

; ripreso in Elon Musk: Artificial intelligence ‘potentially more dangerous than nukes’, «The Christian Science Monitor», 4 agosto 2014.

OpenAI (2015), Introducing OpenAI, 11 dicembre 2015, https://openai.com/index/introducing-openai/


Substack:

aiofficer.substack.com

Newsletter LinkedIn: https://www.linkedin.com/newsletters/ai-officer-newsletter-7402362836275875841/

__________