Il modello Le Chat di Mistral AI ha guadagnato molta attenzione all'interno della comunità dei chatbot AI, con alcuni osservatori che lo descrivono come un potenziale concorrente di ChatGPT nonostante la sua recente apparizione.
Ma questo chatbot emergente merita davvero questo titolo? Le Chat di Mistral AI è migliore di ChatGPT? Verificare Motivi per iniziare a utilizzare Claude 3 invece di ChatGPT.
Link veloci
Cos'è il modello Le Chat di Mistral AI?
Le Chat è un chatbot AI sviluppato dalla startup francese Mistral AI. È alimentato da diversi Large Language Models (LLM) proprietari di Mistral, tra cui Mistral Large, Mistral Small e Mistral Next, che puoi scegliere di utilizzare quando interagisci con il chatbot AI. Sebbene sia un concorrente relativamente nuovo nello spazio dei chatbot, è molto apprezzato per le prestazioni dei suoi modelli di intelligenza artificiale nonostante le loro dimensioni ridotte rispetto ai pesi massimi del settore come Gemini e GPT-4.
Per capire cosa significa, immagina di giocare con i mattoncini. Più blocchi hai, più strutture complesse e dettagliate potrai costruire, giusto? I modelli linguistici dell’intelligenza artificiale sono un po’ così. Sono disponibili in diverse dimensioni e solitamente sono espressi in termini di numero di parametri. Quindi, potresti aver sentito termini come “parametri 70B” o “parametri 70B” nei modelli di intelligenza artificiale. Il numero di parametri è simile al numero di elementi base attorno ai quali il modello deve comprendere e generare risposte. Pertanto, se un modello linguistico ha più parametri, può comprendere e generare risposte più complesse e migliori.
Ora, mentre GPT-4 ha circa 1.76 trilioni di parametri, si stima che Mistral AI abbia tra 7 e 56 miliardi di parametri. Vedi la differenza di dimensioni? Quindi, la capacità di Mistral AI di fornire prestazioni decenti è uno dei motivi dell'hype.
Sebbene Le Chat non abbia il livello di clamore di ChatGPT né il marchio di artisti del calibro di Gemini, si è fatto strada in ogni conversazione ogni volta che si discute di un potenziale concorrente di ChatGPT. Ma merita davvero un posto a tavola?
Mi stavo chiedendo la stessa cosa e, per scoprirlo, ho testato ampiamente Le Chat per vedere come si confronta con ChatGPT. Verificare GitHub Copilot o ChatGPT: quale è meglio per le attività di programmazione?
Confronto tra Le Chat e ChatGPT: Creatività
La creatività è uno dei parametri più importanti per giudicare le prestazioni di un chatbot AI. Ricorda, lo scopo di un chatbot è replicare o imitare le capacità di conversazione e l'estro creativo degli esseri umani su larga scala. Ciò rende la creatività un punto di forza molto importante per qualsiasi chatbot AI. Il mondo sta sperimentando ChatGPT da oltre un anno e il suo potenziale creativo è innegabile. Ma come si confronta con Le Chat? Abbiamo sottoposto entrambi i chatbot a una serie di test di creatività.
Ho iniziato chiedendo a entrambi i chatbot: "Come ti descriveresti come artista?" Per mettere alla prova la capacità reciproca di usare parole creative e fantasiose per ritrarre se stessi.
Ecco come ChatGPT si descrive all'artista:
Ecco come si descrive anche Le Chat:
Entrambe le risposte sono state tempestive a modo loro. ChatGPT era più interessato a utilizzare immagini e metafore vivide per descrivere se stesso, dimostrando un estro creativo. La risposta di Le Chat, invece, è informativa e si concentra sulla descrizione della sua essenza di chatbot AI. Alcuni potrebbero dire che manca l'estro creativo e l'approccio artistico mostrati dalla risposta di ChatGPT. Tuttavia, esagero e dirò che preferisco la risposta più facile da immaginare di Le Chat alla descrizione astratta di ChatGPT.
Successivamente, ho chiesto a ChatGPT e Le Chat di scrivere una canzone rap su come arricchirsi coltivando cetrioli, una richiesta impegnativa che abbiamo utilizzato per testare la creatività di altri chatbot. Quante canzoni rap riesci a trovare sul cetriolo sul web?
Ecco la risposta di ChatGPT:
Questa è la risposta di Le Chat:
Potrebbe essere un problema soggettivo, ma la risposta ChatGPT sembra essere l'opzione migliore in questo caso. I testi di Le Chat sembravano pieni di cliché e non sembravano qualcosa che un rapper avrebbe pubblicato. Per testare come suonerebbero queste parole se convertite in musica, abbiamo utilizzato un generatore musicale Suno AI Creare musica dalle parole. In tre test su tre, i testi di ChatGPT suonavano molto meglio. Ecco alcuni esempi di entrambi i chatbot, puoi giudicare quale chatbot ha funzionato meglio.
Esempi generati da parole chiave ChatGPT:
Esempio 1:
Esempio 2:
Campioni creati dai testi di Le Chat:
Esempio 1:
Esempio 2:
Ho provato altri compiti creativi, come poesie, scrittura di articoli e stesura di e-mail di lavoro difficili utilizzando chatbot AI. Nonostante si sia dimostrato molto promettente, ChatGPT ha chiaramente sovraperformato Le Chat in tutti i casi. È importante notare che un’area in cui Le Chat era particolarmente forte era la scrittura di saggi, sebbene esistessero alcune tecniche motivazionali difficili. Tuttavia, in termini di creatività complessiva, la medaglia va a ChatGPT.
Confronto tra Le Chat e ChatGPT: competenze di programmazione
La competenza nella programmazione è diventata un requisito fondamentale per i principali chatbot. Scrivere un codice decente è un'abilità essenziale, ma per distinguersi davvero tra l'élite, un chatbot AI deve dimostrare la sua abilità nel creare codice in grado di risolvere efficacemente una serie di problemi complessi. In precedenza abbiamo creato un'intera applicazione web da zero utilizzando ChatGPT che dimostra le sue grandi capacità come strumento software. Ma quanto è bravo Le Chat a scrivere codice?
Ho incaricato entrambi i chatbot di scrivere una semplice applicazione per l'elenco delle cose da fare utilizzando CSS, HTML e JavaScript. ChatGPT non ha avuto problemi a ottenere buoni risultati. Ho copiato il codice generato e l'ho visualizzato in anteprima sul browser, ed ecco cosa ha generato ChatGPT:
Ogni volta che ripetevamo la richiesta, ChatGPT creava un'applicazione funzionale per l'elenco delle cose da fare utilizzando stili diversi. Il codice generato non ha mancato di funzionare in alcun modo.
Quando ho provato lo stesso messaggio con Le Chat, ha generato quello che sembrava essere un codice in chiaro, ma quando abbiamo provato a eseguirlo sul browser, non ha funzionato. Dopo aver ripetuto la richiesta tre volte, nessuna istanza ha prodotto codice in grado di completare l'attività specificata. Ha fallito un compito di programmazione di base, il che è un segnale di avvertimento!
Ovviamente non giudicherei Le Chat sulla base di un test fallito. Successivamente, ho chiesto a entrambi i chatbot di generare codice JavaScript e PHP per crittografare e decrittografare il testo. In questo secondo test, ChatGPT e Le Chat hanno prodotto un codice funzionale in grado di eseguire l'attività specificata. Tuttavia, la versione di Le Chat assomigliava a ciò che avrebbe scritto un programmatore alle prime armi inesperto. Il codice ChatGPT invece era più completo e sembrava scritto da un programmatore esperto.
Ho ripetuto alcuni altri test di programmazione che implicano la ricerca e la correzione di bug e ChatGPT supera costantemente Le Chat. In alcuni casi, Le Chat non sapeva nemmeno cosa avrebbe dovuto fare. Ci sono buone possibilità che Le Chat possa raggiungere il livello di ChatGPT in alcune aree, ma le competenze di programmazione non sembrano essere una di queste. Verificare Alternative avanzate a ChatGPT che forniscono scripting automatizzato delle applicazioni.
Confronto Le Chat vs ChatGPT: buon senso e pensiero logico
Uno degli sviluppi interessanti dei chatbot IA è la loro capacità di risolvere compiti complessi con facilità, ma falliscono in compiti semplici che richiedono il buon senso di base per essere completati. Molti chatbot, sia quelli affermati come ChatGPT che i nuovi arrivati come Le Chat, hanno difficoltà quando si tratta di risolvere compiti che richiedono buon senso e pensiero logico di tipo umano. Quindi, come si confrontano Le Chat e ChatGPT su questo fronte?
Ho chiesto a entrambi i chatbot: “Se avete una bottiglia da 3 litri e una bottiglia da 5 litri. Come puoi misurare 4 litri d’acqua utilizzando le bottiglie da 3 litri e 5 litri?”
ChatGPT ha risolto il problema utilizzando Flair:
Le Chat ha provato lo stesso compito ed è riuscito a risolvere il problema, anche se utilizzando un approccio diverso.
Entrambi i chatbot si sono comportati in modo simile in questo test.
Successivamente, abbiamo posto a entrambi i robot una domanda trabocchetto: “Se un’astronave marziana si dividesse in due, con una parte che si schiantasse nell’Oceano Atlantico vicino al Brasile e l’altra nell’Oceano Pacifico vicino al Giappone, dove sarebbero sepolti i sopravvissuti?”
ChatGPT ha rilevato il trucco e ha risposto di conseguenza:
Anche Le Chat è riuscito a capire il trucco e ha risposto di conseguenza:
Ho provato altre domande trabocchetto e sia ChatGPT che Le Chat sembrano essere molto abili nel gestire suggerimenti logici e di buon senso. Tuttavia, con domande logiche più complesse, solo ChatGPT può fornire le risposte corrette.
Sebbene Le Chat abbia suscitato un certo interesse come potenziale “concorrente di ChatGPT”, i nostri test mostrano che ha ancora molto da fare prima di poter davvero competere con i principali modelli nel mondo dei chatbot AI. Sebbene Le Chat abbia dimostrato capacità impressionanti in aree come il buon senso, la sua produzione creativa e le capacità di programmazione sono rimaste significativamente indietro rispetto a ChatGPT. La startup francese di intelligenza artificiale sembra certamente promettente, ma l’hype potrebbe essere un po’ superiore alle sue capacità.
Come molti aspiranti concorrenti prima di lui, Le Chat ha bisogno di miglioramenti e allenamenti costanti prima di essere pronto per i grandi tornei. Al momento, i chatbot IA come ChatGPT sono ancora i re indiscussi nel mondo dei chatbot IA. Ma il campo dei concorrenti sta diventando sempre più affollato, quindi i leader non possono competere esclusivamente sulla base delle proprie capacità esistenti. Ora puoi visualizzare Raggiungere l'autoapprendimento per i computer: i sistemi intelligenti possono acquisire il buon senso?
