Alcune interessanti riflessioni sulla precisione del machine learning arrivano dal blog di AWS. Sono a firma di Matt Wood del team di Amazon Web Services e prendono in considerazione l’accuratezza e la parzialità.

Le riflessioni partono da un recente articolo pubblicato dall’ACLU, l’American Civil Liberties Union, organizzazione attiva nella difesa dei diritti.

L’ACLU ha condotto un test di riconoscimento facciale con lo strumento Rekognition di Amazon.

Nel test, Rekognition ha identificato in maniera errata 28 membri del Congresso americano come persone arrestate per un crimine. Il software ha cioè evidenziato 28 corrispondenze non corrette con un database costruito all’ACLU utilizzando 25.000 foto segnaletiche pubbliche.

L’organizzazione, alla luce di questi risultati, ha espresso preoccupazioni per queste tecnologie di riconoscimento facciale applicate alla sicurezza e alla sorveglianza. E sull’uso da parte del governo di questa tecnologia Amazon.

La risposta di Amazon Web Services

Matt Wood di AWS innanzitutto sottolinea che il test ha trovato 28 corrispondenze sbagliate su 535, usando un livello di affidabilità dell’80%. Un’identificazione errata del 5% (i “falsi positivi”) e un tasso di accuratezza del 95%. Wood indica poi che l’ACLU non ha pubblicato il suo dataset, la metodologia o i risultati in dettaglio. Il membro del team AWS esprime poi le sue considerazioni.

Amazon Rekognition

Il primo punto espresso da Wood è che la soglia di confidenza di default delle API di riconoscimento facciale di Rekognition è appunto l’80%. Si tratta di una soglia che va bene per molti casi, in generale. Ma non è un’impostazione corretta in applicazioni di sicurezza pubblica, perché troppo bassa. Per casi in cui l’accuratezza dell’identificazione è critica, AWS raccomanda un livello del 99% di confidenza. Con un confidence threshold del 99%, un test analogo di AWS su un dataset di 850.000 volti ha prodotto zero falsi positivi.    

In applicazioni reali di pubblica sicurezza e delle forze dell’ordine Amazon Rekognition è usato quasi esclusivamente per restringere il campo. Sono poi gli operatori umani a riesaminare e considerare le opzioni.

Rekognition, sottolinea Wood, è cioè solo il primo passo nell’identificare un individuo. In altri scenari, dove non c’è la necessità di un double check, la soglia può essere invece abbassata. Inoltre i risultati di Rekognition possono essere significativamente alterati usando un database facciale non adeguatamente rappresentativo.

Vantaggi e svantaggi del machine learning

Il vantaggio di un’applicazione di machine learning basata su cloud come Rekognition è che è in costante miglioramento. Aws sottolinea come continui a migliorare gli algoritmi con un numero sempre maggiore di dati. Ciò, allo scopo di rendere Rekognition sempre più preciso nell’identificare persone, oggetti e scene. Inoltre pone l’attenzione sul fatto che sia un’idea sbagliata che le persone possano far corrispondere i volti alle foto meglio delle macchine. Studi recenti mostrerebbero infatti come anche le più datate tecnologie di riconoscimento facciale superino le possibilità umane.

Infine Wood condivide un’ultima riflessione sul test condotto dall’ACLU e sui risultati a suo giudizio mal interpretati. Cioè che il machine learning è uno strumento molto prezioso per aiutare le forze dell’ordine. Però, come per tutte le nuove tecnologie, richiede di essere usato in modo corretto.

E AWS ha la stessa preoccupazione per un utilizzo corretto e offre le raccomandazioni al riguardo. Ad esempio su un livello di confidenza sufficientemente elevato per la specifica applicazione.

Dismettere del tutto il machine learning sarebbe come buttare il forno perché la temperatura potrebbe essere regolata male e bruciare la pizza.   

Se questo articolo ti è piaciuto e vuoi rimanere sempre informato sulle novità tecnologiche

LASCIA UN COMMENTO

Inserisci il tuo commento
Inserisci il tuo nome