I chatbot AI sono utilizzati da milioni di persone in tutto il mondo ogni giorno, grazie ai server cloud basati spesso su GPU NVIDIA. Ora questi strumenti in grado di rivoluzionare l’informatica stanno arrivando sui PC Windows basati su NVIDIA RTX per un’AI generativa locale, veloce e personalizzata.
Chat with RTX, ora scaricabile gratuitamente, è una demo tecnologica che consente agli utenti di personalizzare un chatbot con i propri contenuti, con l’accelerazione di una GPU locale NVIDIA GeForce RTX 30 Series o superiore con almeno 8 GB di memoria VRAM.
Chat with RTX utilizza la retrieval-augmented generation (RAG), il software NVIDIA TensorRT-LLM e l’accelerazione NVIDIA RTX per portare le capacità di intelligenza artificiale generativa sui PC Windows locali, dotati di GeForce. Gli utenti possono collegare in modo semplice e rapido i file locali su un PC come set di dati a un modello linguistico di grandi dimensioni open-source come Mistral o Llama 2, consentendo di effettuare query per ottenere risposte rapide e contestualmente pertinenti.
Invece di cercare tra gli appunti o i contenuti salvati, gli utenti possono semplicemente digitare le query, e Chat with RTX scansionerà i file locali indicati dall’utente e fornirà la risposta con il contesto. Lo strumento supporta vari formati di file, tra cui .txt, .pdf, .doc/.docx e .xml. Puntando l’applicazione alla cartella contenente questi file, lo strumento li caricherà nella sua libreria in pochi secondi, spiega NVIDIA.
Gli utenti possono anche includere informazioni da video e playlist di YouTube. L’aggiunta di un URL video a Chat with RTX consente agli utenti di integrare queste conoscenze nel loro chatbot per le query contestuali. Ad esempio, è possibile chiedere consigli di viaggio basati sui contenuti dei video degli youtuber preferiti, oppure ottenere tutorial e istruzioni rapide basate sulle migliori risorse formative.
Poiché Chat with RTX viene eseguito localmente su PC e workstation Windows RTX, i risultati forniti sono rapidi e i dati dell’utente rimangono sul dispositivo. Invece di affidarsi a servizi LLM basati su cloud, Chat with RTX consente agli utenti di elaborare dati sensibili su un PC locale senza la necessità di condividerli con terzi o di disporre di una connessione a Internet.
Oltre a una GPU GeForce RTX 30 Series o superiore con almeno 8 GB di VRAM, Chat with RTX richiede Windows 10 o 11 e i più recenti driver per GPU NVIDIA.
Dal punto di vista di NVIDIA, Chat with RTX mostra il potenziale dell’accelerazione degli LLM con le GPU RTX. L’applicazione è costruita a partire dal progetto di riferimento per sviluppatori TensorRT-LLM RAG, disponibile su GitHub. Gli sviluppatori possono utilizzare il progetto reference per sviluppare e distribuire le proprie applicazioni basate su RAG per RTX, accelerate da TensorRT-LLM. Per saperne di più sulla creazione di applicazioni basate su LLM è possibile consultare il blog tecnico di NVIDIA.
È anche possibile partecipare con un’app o un plug-in di Windows basato sull’AI generativa al concorso per sviluppatori NVIDIA Generative AI on NVIDIA RTX, in corso fino a venerdì 23 febbraio, per avere la possibilità di vincere premi come una GPU GeForce RTX 4090, un pass completo per la conferenza di persona all’NVIDIA GTC e altro ancora.
