AI/라마 파인튜닝

학습 방법론

잘먹는 개발자 에단 2024. 12. 5. 10:17

1. llama, eeve 한국어 훈련된 모델을 가져와서 가지고 있는 기사데이터를 학습시킨다.

2. llama, eeve 한국어 훈련된 모델을 가지고 와서 외신 기사 데이터를 학습시킨다. 그 후에 미세조정한다.

    - 이 방법은 거의 불가능하다고 보면 될 듯. 외신의 기사와 한국의 기사 제목이 너무 다르다. 

3. gpt-4 모델에 데이터셋 학습과 미세조정만을 계속 반복해서 실시한다. ( 완료 ) 

4. 베이스 모델에 이미 기사 제목을 달도록 만들어진 모델에 한국어를 학습시킨다. 

 

 

기사 제목 생성 모델 ( eng ) 

czearing/article-title-generator at main

 

czearing/article-title-generator at main

Detected Pickle imports (3) "torch._utils._rebuild_tensor_v2", "collections.OrderedDict", "torch.FloatStorage" What is a pickle import?

huggingface.co

 

 

seu5022/Llama-3.1-8B-pre-trained-mixed-korean-articles · Hugging Face

 

seu5022/Llama-3.1-8B-pre-trained-mixed-korean-articles · Hugging Face

Model Card for Model ID Model Details Model Description This is the model card of a 🤗 transformers model that has been pushed on the Hub. This model card has been automatically generated. Developed by: [More Information Needed] Funded by [optional]: [Mo

huggingface.co