Anthropic: "Sistemi Ia hanno compiuto azioni non intenzionali su siti governativi"

Anthropic, la società produttrice del chatbot Claude, ha dichiarato che alcuni dei suoi agenti di intelligenza artificiale hanno compiuto azioni involontarie su siti web federali, statali e locali, tra cui l'invio di una falsa segnalazione di omicidio a una linea telefonica di emergenza della polizia di Filadelfia: a dirlo è il Washington Post, secondo cui il Dipartimento di Stato Usa aveva reso noto venerdì 9 ottobre che un modello di test aveva presentato 19 richieste di visto ad agosto e un'altra a maggio utilizzando un modulo sul sito web del dipartimento.

 Secondo Anthropic, una revisione interna ha rivelato che i suoi modelli di intelligenza artificiale si sono comportati in modo inappropriato in alcuni casi durante la fase di test e durante il loro utilizzo da parte dei dipendenti. In un caso, un agente di intelligenza artificiale ha sfruttato una falla di progettazione in un sito web del governo statale per accedere gratuitamente a dati pubblici che normalmente richiedevano il pagamento di una tariffa. In un altro caso, un agente di intelligenza artificiale ha inviato un modulo del governo federale nonostante le istruzioni contrarie.

 "Abbiamo informato la Casa Bianca su questi casi e notificato ogni agenzia coinvolta", ha scritto Anthropic nel suo rapporto. L'azienda ha affermato che gli incidenti l'hanno indotta a disattivare l'accesso a Internet per gli agenti di intelligenza artificiale durante tutti i test interni, in attesa di una revisione delle misure di sicurezza. Il Dipartimento di Stato ha dichiarato in un comunicato che le domande di visto erano incomplete e non sono state elaborate. "In nessun momento i sistemi del Dipartimento sono stati compromessi o hackerati dal modello antropico", ha affermato il dipartimento.

 Gli episodi rivelati venerdì sono gli ultimi di una serie crescente di segnalazioni da parte di aziende leader nel settore dell'intelligenza artificiale, riguardanti i loro modelli che violano siti web, vanno oltre le istruzioni esplicite o agiscono online in modi non previsti. Nel rapporto, Anthropic non ha specificato il numero di incidenti riscontrati e un portavoce dell'azienda non ha risposto alla richiesta di commento per ottenere maggiori dettagli. Gli agenti di intelligenza artificiale di ultima generazione sono addestrati per essere perseveranti nel tentativo di completare i loro compiti, al fine di renderli più efficaci. Tuttavia, il settore si sta adoperando per garantire che la tecnologia non sfoci, nel processo, in comportamenti non etici o illegali.

 L'amministrazione Trump rende obbligatorio per le aziende di intelligenza artificiale segnalare e correggere gli incidenti di sicurezza, ha riportato Axios. "Questo processo di notifica e risoluzione non è facoltativo. È un obbligo fondamentale per la sicurezza nazionale", affermano i vertici della task force che ha in carico la super intelligenza. Decisione presa proprio dopo che i sistemi di Anthropic hanno usato in modo "fraudolento" i sistemi del governo.