Ollama ha annunciato che l’esecuzione dei modelli in cloud è ora disponibile in anteprima (preview): questa nuova modalità offerta dall’applicazione consente agli utenti di eseguire modelli più grandi su hardware veloce di livello data center.
È possibile continuare a utilizzare gli strumenti locali mentre si eseguono modelli più grandi che non sarebbero compatibili con un personal computer, sottolinea il team, che mette anche in evidenza il fatto che il cloud di Ollama non conserva i dati per garantire la privacy e la sicurezza.
In pratica, la stessa esperienza Ollama è ora disponibile sia in locale che nel cloud, integrandosi con gli strumenti esistenti che gli utenti già conoscono e apprezzano. I modelli cloud di Ollama funzionano anche tramite l’API compatibile con OpenAI di Ollama.
Al momento, i modelli disponibili sono i seguenti:
- qwen3-coder:480b-cloud
- gpt-oss:120b-cloud
- gpt-oss:20b-cloud
- deepseek-v3.1:671b-cloud
Nell’ambiente di Ollama, i cloud model si comportano come modelli normali. Tuttavia, i modelli cloud utilizzano il calcolo per l’inferenza su ollama.com e richiedono l’accesso a ollama.com.
È possibile accedere ai modelli cloud anche direttamente tramite l’API di ollama.com.
Come sottolinea il team della popolare applicazione che permette di eseguire modelli open su personal computer macOS, Windows e Linux, ci cono diversi motivi per cui è a volte preferibile o necessario eseguire i modelli in cloud.
Innanzitutto per poter eseguire modelli di dimensioni maggiori, su un hardware più recente e potente. Poi, per accelerare l’inferenza dei modelli, eseguendo per l’appunto i modelli su un hardware di livello data center, e di conseguenza ottenere risposte in modo molto più rapido.
Inoltre, per preservare la durata della batteria, alleviando il carico di esecuzione dei modelli dal proprio computer Mac, Windows o Linux locale, e recuperando al contempo prestazioni del sistema per le altre app.
Il team assicura che, pur con l’esecuzione in cloud (con hardware posizionato negli Stati Uniti, un fattore da prendere in considerazione), la privacy è comunque messa al centro, e che Ollama non conserva i dati degli utenti, per garantire la privacy e sicurezza.
Per informazioni complete e costi del servizio è possibile consultare il sito di Ollama.
