Tra l'altro, una delle cose più orribili che ho scoperto mentre scrivevo questo articolo è stato questo sito chiamato factually.co , che ha un alto posizionamento nei motori di ricerca e utilizza modelli linguistici di grandi dimensioni per creare falsi articoli di "fact checking". Stanno pubblicando diversi articoli fingendo che il Rev. Black non sia stato colpito con proiettili di pepe a Broadview, il che, per essere chiari, è sicuramente accaduto.

In uno studio congiunto con l'AI Security Institute del Regno Unito e l'Alan Turing Institute, abbiamo scoperto che anche solo 250 documenti dannosi possono produrre una vulnerabilità "backdoor" in un modello linguistico di grandi dimensioni, indipendentemente dalle dimensioni del modello o dal volume dei dati di addestramento. Sebbene un modello con 13 miliardi di parametri venga addestrato su oltre 20 volte più dati di addestramento rispetto a un modello con 600 miliardi di parametri, entrambi possono essere colpiti da una backdoor tramite lo stesso numero limitato di documenti contaminati. I nostri risultati mettono in discussione l'ipotesi comune secondo cui gli aggressori debbano controllare una percentuale dei dati di addestramento; in realtà, potrebbero averne bisogno solo di una piccola quantità fissa. Il nostro studio si concentra su una backdoor ristretta (che produce testo incomprensibile) che difficilmente presenta rischi significativi nei modelli di frontiera. Ciononostante, condividiamo questi risultati per dimostrare che gli attacchi di data poisoning potrebbero essere più pratici di quanto si creda e per incoraggiare ulteriori ricerche sul data poisoning e sulle potenziali difese contro di esso.