Per molto tempo, non ho esitato a incollare un contratto in ChatGPT, caricare un report riservato per richiedere un riepilogo o inserire una proposta cliente in uno strumento di intelligenza artificiale cloud. Poi, un giorno, mi sono fermato a leggere il documento sui Termini di servizio (una cosa che avevo sfogliato con noncuranza per anni) e ho capito: questi file stavano lasciando il mio dispositivo e risiedevano, almeno temporaneamente, sui server di qualcun altro. È interessante notare che mi sono reso conto che un ex collega una volta ne aveva spiegato il motivo. Non affidare a ChatGPT informazioni riservateQuesto fastidio mi ha spinto a cercare una soluzione migliore.
Ciò che ho scoperto è AnythingLLM, un'applicazione desktop gratuita e open source che consente di creare un assistente AI completamente personalizzato a partire dai propri documenti, il tutto sul proprio dispositivo. È diventata una delle Applicazioni di intelligenza artificiale open source che utilizzo ogni giornoEcco come si è svolta realmente la trasformazione.
Link veloci
L'installazione e la configurazione di AnythingLLM richiedono solo pochi minuti.
Ti dice esattamente dove vanno a finire i tuoi dati prima ancora di iniziare.
Dopo aver ottenuto il file di installazione, fate doppio clic su di esso e la procedura guidata inizierà a funzionare. Durante l'installazione, scaricherà automaticamente i componenti di supporto: le librerie CUDA di Ollama, se si dispone di una GPU NVIDIA compatibile – un processo che apprezzerete una volta capito. Cosa sono i core CUDA e in che modo migliorano la potenza di calcolo generale? FFProbe per l'elaborazione multimediale e risorse di Meeting Assistant per le funzionalità audio. Nessuna di queste operazioni richiede alcun intervento da parte tua. L'intero processo, dal doppio clic sul programma di installazione alla visualizzazione del pannello di controllo principale, ha richiesto meno di cinque minuti.
Una volta aperto AnythingLLM, una delle prime cose che presenta è una schermata di gestione dei dati e privacy, che vale la pena leggere. Indica chiaramente che il modulo e le conversazioni sono accessibili solo sul tuo dispositivo, che il testo del documento è incorporato privatamente in questa istanza utilizzando l'AnythingLLM Embedder integrato e che i vettori sono archiviati localmente tramite LanceDB. Se hai mai cercato Cos'è un database vettoriale e in che modo migliora l'intelligenza artificiale?Ti renderai conto che mantenere questo componente completamente offline è un'importante vittoria per la privacy. Non ci sono pulsanti di attivazione/disattivazione e le opzioni di disattivazione sono nascoste nelle impostazioni. Tutto rimane locale per impostazione predefinita.
Subito dopo la panoramica sulla privacy, AnythingLLM guida l'utente attraverso la schermata delle preferenze LLM. L'elenco dei provider supportati è ampio: sul lato cloud, ci sono OpenAI, Anthropic, Azure OpenAI, Gemini, Groq e altri. Sul lato interamente on-premise, ci sono Ollama, LM Studio, LocalAI, KoboldCPP, Dell Pro AI Studio, Microsoft Foundry Local e Docker Model Runner, tra gli altri. L'opzione predefinita "AnythingLLM" combina un runner di modelli locale basato su Ollama, il che significa che è possibile scaricare modelli come Phi-4 di Microsoft (9.1 GB) o Qwen3 0.6B di Alibaba (un piccolo 600 MB) direttamente dall'applicazione, senza alcuna configurazione aggiuntiva.
Se il tuo computer non ha un'unità di elaborazione grafica (GPU) dedicata, non c'è problema. La connessione all'API Groq ti dà accesso a modelli di inferenza rapidi come il Llama 3 70B a un costo quasi nullo, e ti serve solo una chiave API per farlo funzionare. Puoi cambiare provider in qualsiasi momento dalle impostazioni, quindi non sei vincolato all'opzione selezionata in fase di configurazione. Ho iniziato con il provider locale per i test (il Phi-3 3.8B mi ha sorpreso per la sua capacità di gestire le domande e risposte sui documenti su un laptop di fascia media), poi sono passato a Groq per le attività più impegnative in cui la velocità era più importante.
Una volta configurato, AnythingLLM trasforma i tuoi documenti personali in un assistente AI mirato.
I tuoi file parlano di nuovo in modo più chiaro
La dashboard ti accoglie con una checklist per iniziare e una barra laterale che contiene già uno spazio di lavoro virtuale chiamato "Il mio spazio di lavoro". Gli spazi di lavoro sono il concetto organizzativo fondamentale di AnythingLLM: ognuno è un ambiente autonomo in cui documenti e conversazioni coesistono. Pensa a ogni spazio di lavoro come a una stanza separata: una per i contratti con i clienti, un'altra per la ricerca interna e una terza per le note personali. I documenti possono essere condivisi tra gli spazi di lavoro, se necessario, ma non interferiscono tra loro, mantenendo la focalizzazione e l'accuratezza delle risposte dell'IA.
Aggiungere documenti all'area di lavoro è semplice tramite trascinamento della selezione. AnythingLLM gestisce documenti Word, file di testo semplice, file CSV, fogli di calcolo, file audio e persino PDF, in modo simile a come NotebookLM lo utilizza per trasformare qualsiasi file PDF in una conversazione interattiva.Nel pannello di caricamento è presente anche un campo "Recupera sito web", quindi se si desidera recuperare una pagina web o una risorsa online, è sufficiente incollare l'URL e il contenuto verrà automaticamente caricato. Una volta caricato, AnythingLLM elabora ogni file, suddividendo il testo e memorizzando i vettori localmente. Un tipico file PDF di dieci pagine richiede solo pochi secondi.
Agenti e ordini di polizia distorti spingono AnythingLLM oltre una casella di ricerca intelligente
Ed è qui che la cosa diventa davvero emozionante.
AnythingLLM è dotato di funzionalità di agente che vanno oltre le semplici domande e risposte sui documenti. Esegue la digitazione @agente Nella chat, è possibile attivare un agente di intelligenza artificiale in grado di eseguire attività di chiamata degli strumenti: ricerche web, ricerche più approfondite e azioni tra app. Le competenze personalizzate dell'agente sono disponibili tramite l'AnythingLLM Community Hub, la cui libreria è in continua espansione. La funzionalità del comando slash consente di creare e salvare modelli di prompt per attività ripetitive, come riassumere le note delle riunioni in un formato coerente, formulare le risposte alle email con un tono specifico o estrarre campi specifici dai documenti caricati ogni volta.
Se vuoi fare un ulteriore passo avanti, c'è un'estensione del browser che ti permette di interagire con la tua istanza AnythingLLM da qualsiasi pagina web e un'integrazione GPTLocalhost che porta l'assistente direttamente in Microsoft Word. I team che necessitano di accesso condiviso possono optare per la versione Docker, che aggiunge supporto multiutente, controlli basati sui ruoli e whitelist. L'applicazione desktop è più che sufficiente per uso personale, ma è utile sapere che è disponibile un percorso di configurazione per i team.
Benvenuti alla rivoluzione dell'intelligenza artificiale per voi (popolazione: voi)
Passando ad AnythingLLM, ho smesso di considerare l'intelligenza artificiale come un servizio da noleggiare e ho iniziato a considerarla uno strumento di mia proprietà. I miei documenti rimangono sul mio disco rigido, le mie ricerche rimangono private e ora ho un assistente digitale che comprende davvero il mio contesto, non solo la rete Internet pubblica.
