본문 바로가기
AI/라마 파인튜닝

학습 방법론

by 잘먹는 개발자 에단 2024. 12. 5.

1. llama, eeve 한국어 훈련된 모델을 가져와서 가지고 있는 기사데이터를 학습시킨다.

2. llama, eeve 한국어 훈련된 모델을 가지고 와서 외신 기사 데이터를 학습시킨다. 그 후에 미세조정한다.

    - 이 방법은 거의 불가능하다고 보면 될 듯. 외신의 기사와 한국의 기사 제목이 너무 다르다. 

3. gpt-4 모델에 데이터셋 학습과 미세조정만을 계속 반복해서 실시한다. ( 완료 ) 

4. 베이스 모델에 이미 기사 제목을 달도록 만들어진 모델에 한국어를 학습시킨다. 

 

 

기사 제목 생성 모델 ( eng ) 

czearing/article-title-generator at main

 

czearing/article-title-generator at main

Detected Pickle imports (3) "torch._utils._rebuild_tensor_v2", "collections.OrderedDict", "torch.FloatStorage" What is a pickle import?

huggingface.co

 

 

seu5022/Llama-3.1-8B-pre-trained-mixed-korean-articles · Hugging Face

 

seu5022/Llama-3.1-8B-pre-trained-mixed-korean-articles · Hugging Face

Model Card for Model ID Model Details Model Description This is the model card of a 🤗 transformers model that has been pushed on the Hub. This model card has been automatically generated. Developed by: [More Information Needed] Funded by [optional]: [Mo

huggingface.co

 

 

'AI > 라마 파인튜닝' 카테고리의 다른 글

(a) 데이터셋  (0) 2024.12.05
(5) 학습진행 - 2  (0) 2024.12.05
(4) 학습진행 - 1  (0) 2024.12.05
(2) 필요한 라이브러리 세팅  (0) 2024.12.05
(1) 큰 과정  (1) 2024.12.05