Che cos'è il Transfer Learning nell'IA e come funziona?

Se sei interessato ad addestrare il tuo modello di intelligenza artificiale nell'elaborazione del linguaggio naturale (NLP) o nella visione artificiale, dovresti conoscere Transfer Learning e come utilizzare modelli pre-addestrati.

Senza trasferire l'apprendimento, la formazione di un modello efficiente e affidabile è spesso uno sforzo ad alta intensità di risorse, che richiede molto denaro, tempo ed esperienza, poiché si stima che uno sviluppatore di ChatGPT abbia speso milioni per la formazione di GPT-3, GPT-3.5, e GPT-4. Con la potenza del trasferimento dell'apprendimento, puoi addestrare il tuo modello con la potenza del nuovo modello GPT con poche risorse in un breve periodo. Verificare Modi per utilizzare ChatGPT come analizzatore di dati.

Che cos'è il trasferimento dell'apprendimento nell'IA?

Il transfer learning è l'idea di prendere un modello pre-addestrato come BERT o uno dei vari modelli GPT e addestrarlo su un set di dati personalizzato per lavorare su compiti che non era necessariamente addestrato a gestire.

Ad esempio, puoi prendere un modello pre-addestrato per classificare diversi tipi di gatti e addestrarlo per classificare i cani. Attraverso l'apprendimento del trasferimento, l'addestramento del modello di classificazione del cane dovrebbe richiedere molto meno tempo e risorse per diventare affidabile quanto il modello di classificazione del gatto originale.

Funziona perché cani e gatti condividono molti tratti che il modello preaddestrato può già identificare. Poiché il modello di classificazione del gatto può identificare diversi tratti dei gatti, come avere quattro zampe, pellicce e nasi prominenti, il modello di classificazione del cane può saltare tutto l'addestramento per identificare quei tratti che ha ereditato dal modello originale. Dopo aver ereditato tutto questo reti neurali , scarti quindi gli ultimi livelli del modello addestrato utilizzato per identificare i tratti più specifici del gatto e li sostituisci con un set di dati specifico per il cane.

Quali modelli di intelligenza artificiale puoi utilizzare per trasferire l'apprendimento?

Per utilizzare il transfer learning, avrai bisogno di un modello preaddestrato. Un modello pre-addestrato è noto come modello AI che viene addestrato allo scopo di acquisire conoscenze generali su un particolare argomento o idea. Questi tipi di modelli pre-addestrati sono appositamente progettati per consentire alle persone di perfezionare e creare più modelli per usi diversi. Alcuni dei modelli pre-addestrati più popolari sono per la PNL, come BERT e GPT, e la visione artificiale, come VGG19 e Inceptionv3.

Sebbene comuni, questi modelli facilmente sintonizzabili non sono gli unici che puoi utilizzare per trasferire l'apprendimento. È inoltre possibile utilizzare modelli addestrati per attività più specifiche rispetto al riconoscimento di oggetti o al linguaggio in generale. Finché il modello ha sviluppato reti neurali applicabili al modello che stai tentando di addestrare, puoi utilizzare qualsiasi modello per trasferire l'apprendimento.

Puoi ottenere modelli preaddestrati pubblicamente disponibili da luoghi come TensorFlow Hub, Hugging Face e OpenAI Model Marketplace. Verificare Come creare un modello di machine learning utilizzando Microsoft Lobe.

Vantaggi dell'utilizzo del transfer learning nell'intelligenza artificiale

Il trasferimento dell'apprendimento offre numerosi vantaggi rispetto all'addestramento di un modello di intelligenza artificiale da zero.

1. Ridurre i tempi di formazione: Quando si addestra un modello da zero, gran parte del processo di addestramento viene dedicato alla conoscenza di base generale. Attraverso il transfer learning, il tuo modello eredita automaticamente tutte queste conoscenze di base, riducendo così notevolmente i tempi di addestramento.
2. Meno requisiti di risorse: poiché tutte le conoscenze di base sono già in atto, tutto ciò che devi fare è continuare ad addestrare il modello sui dettagli della tua applicazione. Spesso ciò richiede solo un set di dati relativamente piccolo che può essere elaborato con una potenza di calcolo inferiore.
3. Prestazione migliorata: A meno che tu non spenda milioni di dollari per costruire il tuo modello da zero, non puoi aspettarti un modello buono o affidabile come un Large Language Model (LLM) da una gigantesca azienda tecnologica. Con il transfer learning, puoi sfruttare le potenti capacità di questi LLM preaddestrati, come GPT, per migliorare le prestazioni del tuo modello.

È possibile addestrare un modello di intelligenza artificiale da zero, ma per farlo sono necessarie più risorse.

Come funziona il trasferimento dell'apprendimento?

Fondamentalmente, ci sono tre fasi quando si tratta di trasferire l'apprendimento.

1. Scegli un modello pre-addestrato: il modello preaddestrato viene sottoposto all'addestramento iniziale utilizzando un set di dati di grandi dimensioni da un'origine significativa, ad esempio ImageNet, o un set di script di grandi dimensioni. Questa fase di addestramento iniziale consente al modello di acquisire conoscenza delle caratteristiche e dei modelli generali trovati nel set di dati. La quantità di tempo e risorse risparmiate dal trasferimento dell'apprendimento dipende dalle somiglianze tra il modello pre-addestrato e il modello che stai tentando di costruire.
2. estrazione delle caratteristiche: una volta scelto un modello pre-addestrato da sintonizzare, vengono lasciati gli strati iniziali del modello pre-addestrato (i più vicini all'input); Ciò significa che i suoi pesi rimangono costanti durante la messa a punto. Il congelamento di questi livelli conserva le conoscenze generali apprese durante il pre-addestramento e impedisce che venga eccessivamente influenzato dal set di dati delle attività del modello di destinazione. Per i modelli completamente addestrati per applicazioni specifiche, i livelli finali dei modelli vengono rimossi o non appresi fino a quando il modello di destinazione non viene addestrato in altre applicazioni specifiche.
3. Ritocchi: dopo che il modello pre-addestrato è stato congelato e gli strati superiori sono stati rimossi, un nuovo set di dati viene inviato all'algoritmo di apprendimento, che viene quindi utilizzato per addestrare il nuovo modello e le relative proprietà dell'applicazione.

C'è di più oltre alle tre fasi, ma questo diagramma mostra in modo approssimativo come funziona il processo di trasferimento dell'IA, con qualche messa a punto.

Limitazioni del transfer learning nell'intelligenza artificiale

Sebbene l'apprendimento di trasferimento sia un concetto prezioso per l'addestramento di modelli efficienti e affidabili, ci sono alcune limitazioni di cui è necessario essere consapevoli quando si utilizza l'apprendimento di trasferimento per addestrare un modello.

1. Mancata corrispondenza del compitoQuando si sceglie un modello di base per il trasferimento dell'apprendimento, dovrebbe essere il più pertinente possibile ai problemi che il nuovo modello risolverà. È probabile che l'utilizzo di un modello che classifica i gatti per creare un modello per classificare i cani produca risultati migliori rispetto all'utilizzo di un modello che classifica i gatti per creare un modello per le piante. Quanto più appropriato è il modello di base per il modello che stai tentando di costruire, tanto più tempo e risorse risparmierai durante il processo di trasferimento dell'apprendimento.
2. distorsione del set di dati: Sebbene i modelli pre-addestrati siano spesso addestrati su set di dati di grandi dimensioni, esiste ancora la possibilità che abbiano sviluppato un certo pregiudizio durante l'addestramento. L'utilizzo di un modello di base altamente distorto può anche far sì che il modello erediti i suoi bias, il che riduce l'accuratezza e l'affidabilità del modello. Sfortunatamente, è difficile individuare l'origine di questi pregiudizi a causa della natura della scatola nera del deep learning.
3. equipaggiamento aggiuntivo: uno dei principali vantaggi del trasferimento dell'apprendimento è che è possibile utilizzare un set di dati relativamente piccolo per addestrare ulteriormente il modello. Tuttavia, l'addestramento del modello su un set di dati molto piccolo può causare l'overfitting, che riduce notevolmente l'affidabilità del modello quando viene alimentato con nuovi dati.

Quindi, sebbene il transfer learning sia un'utile tecnica di apprendimento per l'intelligenza artificiale, ci sono dei limiti e non è un proiettile d'argento. Verificare I motivi per cui i problemi di sicurezza per l'IA generativa stanno peggiorando.

Dovresti usare il transfer learning?

Dalla disponibilità di modelli pre-addestrati, l'apprendimento trasformativo è stato a lungo utilizzato per creare modelli più specializzati. Non c'è alcun vero motivo per non utilizzare il transfer learning se esiste già un modello pre-addestrato rilevante per i problemi che il tuo modello risolverà.

Sebbene sia possibile addestrare da zero un semplice modello di machine learning, farlo su un modello di deep learning richiederà molti dati, tempo e abilità, il che non ha senso se puoi riutilizzare un modello esistente simile a quello hai intenzione di allenarti. Pertanto, se si desidera dedicare meno tempo e denaro all'addestramento di un modello, provare ad addestrare il modello tramite l'apprendimento di trasferimento. Puoi visualizzare ora Elenchi online di strumenti di intelligenza artificiale per scoprire o cercare la migliore applicazione di intelligenza artificiale.