Per Qualcomm Technologies, i nuovi modelli di OpenAI rappresentano una tappa significativa nel percorso che può portare ad assistenti AI onnipresenti, personali e immediatamente disponibili sui singoli device.
OpenAI ha rilasciato il suo primo modello di reasoning open source, gpt-oss-20b, un modello di ragionamento a catena di pensiero che può essere eseguito direttamente su dispositivi dotati di processori Snapdragon di fascia alta. Finora, sottolinea Qualcomm, i modelli avanzati di OpenAI erano infatti limitati all’esecuzione nel cloud, ma ora, per la prima volta, l’azienda rende disponibile il suo modello per l’inferenza direttamente sui dispositivi.
Attraverso l’accesso anticipato al modello e i test di integrazione con il Qualcomm AI Engine e il Qualcomm AI Stack, lo specialista dei semiconduttori afferma che è stato possibile constatare che questo modello da 20 miliardi di parametri rappresenta una soluzione estremamente performante, in grado di eseguire ragionamenti a catena di pensiero interamente sul dispositivo.
Per Qualcomm, si tratta di una svolta significativa: un’anticipazione del futuro dell’intelligenza artificiale, in cui anche il reasoning avanzato tipico degli assistenti sarà eseguito localmente, e dimostra inoltre la maturità dell’ecosistema AI, nel quale l’innovazione open source di realtà leader come OpenAI può essere sfruttata in tempo reale da partner e sviluppatori che utilizzano processori Snapdragon. Il modello gpt-oss-20b di OpenAI consentirà ai dispositivi di beneficiare dell’inferenza on-device, garantendo vantaggi in termini di privacy e latenza, integrandosi al contempo con soluzioni cloud attraverso agenti AI.
Attraverso l’accesso anticipato a gpt-oss-20b e i test di integrazione con il Qualcomm AI Stack, l’azienda ha potuto verificare direttamente le notevoli capacità del modello, che consente di eseguire ragionamenti complessi interamente sul dispositivo. Gli sviluppatori potranno accedere a questo modello e sfruttarne le potenzialità su dispositivi dotati di processori Snapdragon tramite piattaforme popolari come Hugging Face e Ollama. Ulteriori dettagli sulla distribuzione saranno presto disponibili sul Qualcomm AI Hub.
Integrando il framework open-source e leggero per LLM di Ollama con le potenti piattaforme Snapdragon, mette in evidenza Qualcomm, sviluppatori e aziende possono eseguire gpt-oss-20b direttamente su dispositivi dotati di piattaforme di calcolo Snapdragon, usufruendo inoltre di funzionalità predefinite come la ricerca web e altre opzioni. Gli utenti possono anche utilizzare la modalità turbo su Ollama per esplorare ulteriori funzionalità del modello.
Nei prossimi anni, conclude Qualcomm, con la crescita della memoria disponibile sui dispositivi mobili e il continuo miglioramento dell’efficienza degli stack software, si prevede una rapida crescita delle capacità di intelligenza artificiale on-device, aprendo la strada a esperienze agentiche personalizzate, private e a bassa latenza.
Per maggiori informazioni è possibile visitare il sito di Qualcomm.
