Il machine learning on device offre una latenza inferiore, un uso più efficiente della batteria e funzioni che non richiedono la connettività di rete, ha messo in evidenza sul blog per gli sviluppatori Oli Gaymond, Product Manager di Android ML in Google.
Il deployment del machine learning on device su Android incontra però oggi alcune sfide.
Innanzitutto, molte applicazioni sono di dimensioni limitate, quindi dover raggruppare e gestire librerie aggiuntive solo per il machine learning può rappresentare un costo significativo.
Poi, a differenza del machine learning basato su server, l’ambiente di calcolo è altamente eterogeneo, con conseguenti differenze significative in termini di prestazioni, stabilità e precisione
Infine, massimizzare la reach può portare a utilizzare API più vecchie e ampiamente disponibili, il che limita l’uso degli ultimi progressi nel machine learning.
Per aiutare a risolvere questi problemi, il team di Google ha sviluppato Android ML Platform: uno stack di inferenza di machine learning aggiornabile e completamente integrato.
Con Android ML Platform, gli sviluppatori ottengono una serie di vantaggi.
Per prima cosa, gli elementi essenziali dell’inferenza sul dispositivo integrati. Google ha annunciato che fornirà binari di inferenza on device con Android e li terrà aggiornati: questo riduce le dimensioni dell’apk.
Secondo: prestazioni ottimali su tutti i dispositivi. Google ottimizzerà l’integrazione con Android per prendere automaticamente decisioni sulle prestazioni in base al dispositivo, compresa l’abilitazione dell’accelerazione hardware quando disponibile
Poi, un’API coerente attraverso le versioni di Android. Gli aggiornamenti regolari sono forniti tramite Google Play Services e sono resi disponibili al di fuori del ciclo di rilascio del sistema operativo Android, ha spiegato Google.
Google ha precisato che TensorFlow Lite sarà disponibile su tutti i dispositivi con Google Play Services. Gli sviluppatori non avranno più bisogno di includere il runtime nelle loro app, riducendo le dimensioni delle app stesse.
Inoltre, TensorFlow Lite per Android utilizzerà i metadati nel modello per abilitare automaticamente l’accelerazione hardware, permettendo agli sviluppatori di ottenere le migliori prestazioni possibili su ogni dispositivo Android.
Automatic Acceleration è una nuova funzionalità disponibile in TensorFlowLite per Android. Essa consente il test per modello per creare allowlists per dispositivi specifici tenendo conto delle prestazioni, della precisione e della stabilità.
Queste allowlists possono essere utilizzate a runtime per decidere quando attivare l’accelerazione hardware. L’accelerazione automatica sarà disponibile nel corso dell’anno, ha sottolineato Google.
Oltre a mantenere TensorFlow Lite per Android aggiornato tramite update regolari, Google aggiornerà anche l’API Neural Networks al di fuori dei rilasci del sistema operativo, mantenendo le specifiche dell’API uguali per tutte le versioni di Android.
Inoltre, Google sta lavorando con i vendor di chipset per fornire gli ultimi driver per il loro hardware direttamente ai dispositivi, al di fuori degli aggiornamenti del sistema operativo. Questo permetterà agli sviluppatori di ridurre drasticamente i test da migliaia di dispositivi a una manciata di configurazioni.
In questo contesto Google ha annunciato che avverrà entro quest’anno il lancio in collaborazione con Qualcomm, come primo partner.
Anche il produttore di chip, parallelamente, ha annunciato che a partire dalla fine di quest’anno Qualcomm Technologies e Google inizieranno a offrire aggiornamenti regolari per NNAPI.
I driver saranno resi disponibili per i dispositivi tramite Google Play Services, si aggiorneranno automaticamente in background, e i driver NNAPI aggiornabili non solo funzioneranno sugli ultimi e più potenti processori Snapdragon, ma saranno anche compatibili all’indietro con i vecchi chip Snapdragon, ha sottolineato Qualcomm.
Anche se molte di queste funzionalità saranno disponibili solo più avanti nel corso dell’anno, Google sta già fornendo un early access a TensorFlow Lite per Android agli sviluppatori che sono interessati a iniziare subito e che desiderano registrarsi al programma.
