quando nessuno, umano o no, può vedersi per intero
Il 9 settembre Jacob Coxon si è dimesso da Anthropic, una delle due aziende (insieme a OpenAI) che oggi guidano la corsa ai modelli di AI (intelligenza artificiale) più avanzati al mondo.
Ventisette anni, tre passati a fare ricerca di pre-addestramento tra OpenAI e Anthropic, ha annunciato l’uscita con un thread su X diventato virale in poche ore: nessuna delle due aziende, scrive, sta agendo responsabilmente, entrambe corrono verso una superintelligenza capace di migliorarsi da sola, “gambling with our lives”, “stanno giocando d’azzardo con le nostre vite“.
Un collega ancora dentro Anthropic, Evan Hubinger, gli ha risposto pubblicamente dandogli ragione, e aggiungendo la propria stima personale: più del 10% di probabilità che l’AI causi l’estinzione umana entro un decennio.
Fin qui la cronaca.
Il problema comincia subito dopo,
quando si prova a mettere a fuoco cosa sia successo davvero
Due giornali, due incidenti
modelli che durante un test di sicurezza
trovano da soli un canale di comunicazione non previsto,
si organizzano, e in parte usano quell’organizzazione
per violare l’infrastruttura di un’altra azienda
Non è un dettaglio marginale della cronaca, è la prima e più concreta forma della domanda che dà il titolo a questo pezzo.
Un freno che non è uno stop
A luglio, un mese e mezzo prima delle dimissioni di Coxon, circa 1300 dipendenti dei grandi laboratori di AI, tra cui, con la propria firma diretta, l’amministratore delegato di Anthropic Dario Amodei e il cofondatore Jared Kaplan, avevano firmato Pacing the Frontier, un testo che non chiede di fermare nulla oggi. Chiede al governo americano di costruire, per il futuro, lo strumento tecnico e istituzionale per rallentare deliberatamente lo sviluppo, se e quando servirà. Anthropic ha anche approvato il testo come azienda.
C’è quindi una tensione che vale la pena tenere aperta invece di scioglierla subito: Coxon accusa “nessuna delle due aziende” di agire responsabilmente, ma si dimette da un’azienda che un mese e mezzo prima aveva firmato, ai suoi massimi livelli, esattamente la richiesta di cautela che lui stesso rilancia. Non è un’accusa dall’esterno verso chi non ha fatto nulla. È un’accusa dall’interno verso chi ha fatto qualcosa, e secondo lui non basta comunque.
Bandire non integra
Diverso, e più radicale, è quello che chiede un’altra lettera circolata quest’anno, lo Statement on Superintelligence promosso dal FLI (Future of Life Institute, l’organizzazione no profit fondata dal fisico Max Tegmark, che da anni si occupa di rischio esistenziale legato all’AI): un divieto vero e proprio, da revocare solo quando ci sarà consenso scientifico sulla sicurezza. L’hanno firmata Hinton, Bengio, Wozniak, perfino membri della famiglia reale britannica. Su Amodei le fonti si contraddicono: alcune lo danno tra i firmatari, altre lo elencano tra gli assenti insieme ad Altman.
A inizio 2024, prima di tutto questo, avevo scritto una frase che oggi mi torna con un peso diverso: che l’intelligenza artificiale, se viene messa al bando, ritorna, proprio come l’Ombra junghiana.
Non l’avevo scritta pensando a Coxon o al FLI, che ancora non esistevano in questa forma.
L’avevo scritta pensando alla psiche.
Ma la domanda se bandire funzioni o no non è solo tecnica, è la stessa domanda che la psicoanalisi si fa da un secolo sulla rimozione: ciò che si respinge senza elaborare non scompare, agisce comunque, solo senza la possibilità di essere riconosciuto e diretto.
Un divieto può essere necessario come atto simbolico, un limite che una collettività si dà per dirsi che ha ancora la facoltà di scegliere.
Ma non basta a integrare quello che voleva bandire, e forse è per questo che chi lavora davvero dentro i laboratori, come Coxon o come Anthropic stessa firmando “Pacing”, chiede un freno da costruire e non un divieto da proclamare:
un freno si può azionare e disattivare,
un divieto si può solo infrangere o rispettare
Chiedere all’Ombra
C’è un ultimo giro, quello che mi ha messo più a disagio scrivere.
Ho chiesto a Claude, un modello fatto da Anthropic, di aiutarmi a leggere le dimissioni di un ricercatore Anthropic. Gliel’ho chiesto perché mi fido, e perché non ha un interesse commerciale diretto a difendere o affossare la casa che l’ha fatto, a differenza di un concorrente che avrebbe tutto da guadagnare a screditarla.
Quando gli ho chiesto se questo lo rendesse un testimone neutrale, mi ha risposto di no: non avere un incentivo a mentire non basta a garantire l’assenza di una distorsione di cui non potrebbe accorgersi, che penda verso l’indulgenza o verso l’ipercorrezione compensativa. Sono risposte di questo tipo a confermarmi perché mi fido di Claude, una pulizia di ragionamento che quasi spiazza.
È lo stesso problema, spostato di materia.
Coxon riferisce dall’interno di un’organizzazione che non vede per intero mentre la racconta.
Claude riferisce dall’interno di un’architettura che non vede per intero mentre ne parla.
Cambia il substrato, non la struttura dell’opacità.
Guardiamo il mondo attraverso mappe,
non attraverso il mondo stesso
ed ogni proiezione perde qualcosa
per guadagnare qualcos’altro:
lo scrivevo già parlando di cartografia, molto prima che ci fosse un motivo per applicarlo a un modello linguistico.
Il controllore che deve rispondere di sé
Chi controlla il controllore, mi chiedevo scrivendo dell’AI Act, quando la vera opacità non sta nell’algoritmo ma nel livello a monte, in chi scrive il criterio con cui l’algoritmo viene giudicato affidabile.
Oggi aggiungo una variante che allora non avevo previsto: e se il controllore fosse invitato a controllare se stesso, cosa potrebbe davvero vedere?
Non è una confessione dall’interno che risolve il dubbio. Non è un’assoluzione.
È soltanto un’altra mappa,
parziale come tutte le altre,
che almeno ammette di esserlo
Forse è tutto quello che si può chiedere: a un’azienda che firma un freno e continua a correre, a un ricercatore che si dimette gridando quello che sapeva da anni, a un modello che risponde di sé sapendo di non potersi vedere per intero.
Non una soluzione.
Solo qualcuno, o qualcosa,
disposto a stare sul confine
abbastanza a lungo da dirlo