토크나이저 생성
모델 매개변수 양자화 ( 메모리 절감 ) - bitsandbytes
경량화 - peft
모델 로딩 / 업로드 - transformers ( hugging face )
데이터셋 로드 - datasets
학습 - trl
추론 - pipeline
로깅 - logging
학습현황 업로드 - streamlit (py)
참고할 글
[Python] Llama3를 파인튜닝을 통해 나만의 데이터로 학습 및 Huggingface에 적재해보자. - 미완성의신
[Python] Llama3를 파인튜닝을 통해 나만의 데이터로 학습 및 Huggingface에 적재해보자. - 미완성의신
파인튜닝을 통해 나만의 데이터를 학습 시켜 보자. 그전에 파인튜닝에 대해 알아 봐야 하는데, 아주 간단하게 알아보자. 파인튜닝에 대한 이론들은 아직도 많은 연구가 진행되고 있기 때문에 추
unfinishedgod.netlify.app
'딥러닝/Server Setting & Error' 카테고리의 글 목록
'딥러닝/Server Setting & Error' 카테고리의 글 목록
Deep Learning Computer Vision
skk095.tistory.com
'AI > 라마 파인튜닝' 카테고리의 다른 글
| 학습 방법론 (1) | 2024.12.05 |
|---|---|
| (a) 데이터셋 (0) | 2024.12.05 |
| (5) 학습진행 - 2 (0) | 2024.12.05 |
| (4) 학습진행 - 1 (0) | 2024.12.05 |
| (1) 큰 과정 (1) | 2024.12.05 |