LLM Course

0. Installazione

1. Modelli Transformer

2. Usare i 🤗 Transformers

3. Affinamento di un modello pre-addestrato

Introduzione Processare i dati Affinare il modello con la Trainer API Un addestramento completo Affinamento, Fatto!Quiz di fine capitolo

4. Condividere modelli e tokenizers

5. La libreria 🤗 Datasets

8. Come chiedere un aiuto

9. Creare e condividere demo

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Pytorch TensorFlow

Quiz di fine capitolo

Testiamo cosa avete imparato in questo capitolo!

1. Il dataset emotion contiene messaggi Twitter etichettati con emozioni. Cercalo nel Hub e leggi la carta del dataset. Quale di queste non fa parte delle sue emozioni di base?

Joy (Gioia) Love (Amore) Confusion (Confusione) Surprise (Sorpresa)

2. Cerca il dataset ar_sarcasm nel Hub . Quali compiti supporta?

Sentiment classification (Classificazione dei sentimenti) Machine translation (Traduzione automatica) Named entity recognition (Riconoscimento di entità con un nome) Question answering (Risposte a domande)

3. Come deve essere preparata una coppia di frasi per essere processata dal modello BERT?

Tokens_della_frase_1 [SEP] Tokens_della_frase_2 [CLS] Tokens_della_frase_1 Tokens_della_frase_2 [CLS] Tokens_della_frase_1 [SEP] Tokens_della_frase_2 [SEP] [CLS] Tokens_della_frase_1 [SEP] Tokens_della_frase_2

4. Quali sono i benefici del metodo Dataset.map() ?

I risultati della funzione vengono conservati, così la ri-esecuzione del codice sarà rapidissima È possibile applicare multiprocessing per un'esecuzione più rapida rispetto all'applicazione seriale ad ogni elemento del dataset Non carica l'intero dataset in memoria, salvando i risultati appena ogni elemento è stato processato.

5. Qual è il significato di padding dinamico (dynamic padding)?

È quando si applica in ogni batch il padding fino alla lunghezza massima dell'intero dataset È quando si applica in ogni batch il padding fino alla lunghezza massima delle frasi in quella batch È quando si applica il padding agli input in modo che ogni frase abbia lo stesso numero di token della frase precedente nel dataset.

6. Qual è lo scopo di una funzione di raccolta (collate function)?

Di assicurarsi che tutte le sequenze nel dataset abbiano la stessa lunghezza. Di raccogliere tutti i campioni in una batch. Di preprocessare l'intero dataset Di troncare le sequenze nel dataset.

7. Cosa succede quando una classe di tipo AutoModelForXxx viene istanziata con un modello di linguaggio pre-addestrato (come bert-base-uncased ) che corrisponde ad un compito differente rispetto a quello per cui era stato addestrato?

Nulla, ma viene mostrato un avvertimento La testa del modello pre-addestrato viene scartata e una nuova testa, appropriata per il compito, viene inserita al suo posto La testa del modello pre-addestrato viene scartata Nulla, dato che il modello può comunque essere affinato per un compito differente.

8. Qual è lo scopo di TrainingArguments ?

Contiene tutti gli iperparametri usati per l'addestramento e la valutazione con il Trainer. Specifica le dimensioni del modello. Contiene soltanto gli iperparametri usati per la valutazione. Contiene soltanto gli iperparametri usati per l'addestramento.

9. Perché si dovrebbe usare la libreria 🤗 Accelerate?

Fornisce l'accesso a modelli più veloci. Fornisce una API di alto livello, così non devo implementare il mio ciclo di addestramento. Permette ai nostri cicli di addestramento di venire eseguiti con strategie distribuite. Fornisce altre funzioni di ottimizzazione.

Update on GitHub

←Affinamento, Fatto!

Next chapter

Quiz di fine capitolo 1. Il dataset emotion contiene messaggi Twitter etichettati con emozioni. Cercalo nel Hub e leggi la carta del dataset. Quale di queste non fa parte delle sue emozioni di base?2. Cerca il dataset ar_sarcasm nel Hub . Quali compiti supporta?3. Come deve essere preparata una coppia di frasi per essere processata dal modello BERT?4. Quali sono i benefici del metodo Dataset.map() ?5. Qual è il significato di padding dinamico (dynamic padding)?6. Qual è lo scopo di una funzione di raccolta (collate function)?7. Cosa succede quando una classe di tipo AutoModelForXxx viene istanziata con un modello di linguaggio pre-addestrato (come bert-base-uncased ) che corrisponde ad un compito differente rispetto a quello per cui era stato addestrato?8. Qual è lo scopo di TrainingArguments ?9. Perché si dovrebbe usare la libreria 🤗 Accelerate?4. Cosa succede quando una classe di tipo TFAutoModelForXxx viene istanziata con un modello di linguaggio pre-addestrato (come bert-base-uncased ) che corrisponde ad un compito differente rispetto a quello per cui era stato addestrato?5. I modelli Tensorflow da transformers sono già dei modelli Keras. Quali benefici offre ciò?6. Come si definisce una metrica personalizzata (custom metric)?