LLM training stage
1. Pre-training 搜集海量的網路文本資料訓練出一個 Base Model 1. Fine-tuning 藉由人工介入，輸入各類資料，主要有兩種做法 1) 很多人工餵的 QA 資料讓 LLM 知道 How to answer ques...
LLM - RAG - Retrieval-Augmented Generation
RAG 全名是 Retrieval-Augmented Generation RAG 的好處是針對一些新聞時事或是一些在 changing 的 fact 我們沒辦法花 multi millions to retrain the base model，所以就把這些相關知...
LLM and Tokenization
所謂的 Tokenization 就是把文字轉化為數字的方法，你也許在想這不是很簡單嗎？就一個文字對應一個數字就行了，但如果這樣做的話我們需要太多的空間去儲存這些可以無限新增的文字（for example: 人類狂增加 Emoji lol） Andrej 大神在[他的...