AI9 2주 남은 시점에서.. 학습시키고 그 모델을 서빙하는데 현재 고민이 되는 이슈- 딥시크 R1을 서빙하고 싶다. R1은 성능이 gpt보다도 좋은 것 같다. 데이터 학습도 필요가 없는 정도의 수준이지만, 모델 크기가 매우크다. 164개로 나눠진 safe tensor당 용량이 4-7기가 정도 되는데 못해도 600 - 800 기가 정도 되는 것 같다.- 그렇기 때문에 당연히 코랩이나 우리가 가진 GPU 서버에 올릴 수 조차 없다. 저장공간도 부족하지만, 램에 모델을 올리다 다운된다. - 그러면, 가능한 모델이 무엇이 있냐고 하면 R1의 라마 8b 증류모델이나 라마 8b - ko 모델인데, 성능은 당연히 전자가 좋다. - 데이터셋이 충분하지 않다. 정확히 말하면 언진재에서 가져온 데이터셋이 있기는 하지만, 토크나이징하는데 시간이 너무.. 2025. 2. 5. DeepSeek-R1 로드 import loggingfrom typing import Optional, Union, Dict, Any, Tuple# transformers 라이브러리에서 필요한 클래스와 함수를 불러옵니다.from transformers import ( AutoModel, # 사전 학습된 모델을 쉽게 불러올 수 있는 클래스 AutoTokenizer, # 사전 학습된 토크나이저를 쉽게 불러올 수 있는 클래스 AutoConfig, # 모델의 설정(config)을 불러오는 클래스 PreTrainedModel, # 사전 학습된 모델의 기본 클래스 PreTrainedTokenizer # 사전 학습된 토크나이저의 기본 클래스)# 로깅 설정: 현재 모듈 이름.. 2025. 2. 5. 언론사 AI 활용 사례 조선일보조선일보 x 베스핀글로벌 ( 미디어 dx ) 기사 AI 어시스턴트 ( 생성형 ) - GPT 3.5에다가 파인튜닝 한 것 ( SLLM 아님 ) - 회사 CMS 로는 arc 사용 - 국제뉴스, 재계 인사 신년사, 기업 보도자료, 연구결과를 기사화 로그인하면 제목과 보고내용을 넣는 헤드라인과 발제문 칸이 있음거기 텍스트를 입력하면 10초 내에 200자 원고지 5-6매 분량 기사가 '그럴듯한'조선일보 스타일로 나오는 것 조선일보는 기사 5만건을 학습시킴. 분량은 단문 ( 600 - 1000자 ), 장문 ( 1200 - 1800자 ) 중 선택 가능 입력내용이 적으면 확인되지 않은 정보가 나타나는 환각증상 나타날 수 있음 - 스트레이트 외 포멧은 작성할 수 없음. 동아일보 경제뉴스 AI 챗봇 Ask.. 2024. 12. 9. 학습 방법론 1. llama, eeve 한국어 훈련된 모델을 가져와서 가지고 있는 기사데이터를 학습시킨다.2. llama, eeve 한국어 훈련된 모델을 가지고 와서 외신 기사 데이터를 학습시킨다. 그 후에 미세조정한다. - 이 방법은 거의 불가능하다고 보면 될 듯. 외신의 기사와 한국의 기사 제목이 너무 다르다. 3. gpt-4 모델에 데이터셋 학습과 미세조정만을 계속 반복해서 실시한다. ( 완료 ) 4. 베이스 모델에 이미 기사 제목을 달도록 만들어진 모델에 한국어를 학습시킨다. 기사 제목 생성 모델 ( eng ) czearing/article-title-generator at main czearing/article-title-generator at mainDetected Pickle imports (3.. 2024. 12. 5. (a) 데이터셋 데이터셋이 가장 문제였는데, 생각보다 쉽게 해결되었다. 한국언론진흥원에서 뉴스 데이터를 훈련/검증용을 분리까지 해놔서 올려놨다. 심지어, 용도에 따른 분류까지 다 해놨다. 이렇게 되면 다음이 가능하다. 본문을 통해서 제목을 생성해주는 어시스턴트개별 기사에 대한 질문을 받아주는 어시스턴트등등 여러 구상이 가능해졌다. 2024. 12. 5. (5) 학습진행 - 2 2024. 12. 5. (4) 학습진행 - 1 2024. 12. 5. (2) 필요한 라이브러리 세팅 토크나이저 생성모델 매개변수 양자화 ( 메모리 절감 ) - bitsandbytes 경량화 - peft모델 로딩 / 업로드 - transformers ( hugging face )데이터셋 로드 - datasets 학습 - trl추론 - pipeline로깅 - logging 학습현황 업로드 - streamlit (py) 참고할 글[Python] Llama3를 파인튜닝을 통해 나만의 데이터로 학습 및 Huggingface에 적재해보자. - 미완성의신 [Python] Llama3를 파인튜닝을 통해 나만의 데이터로 학습 및 Huggingface에 적재해보자. - 미완성의신파인튜닝을 통해 나만의 데이터를 학습 시켜 보자. 그전에 파인튜닝에 대해 알아 봐야 하는데, 아주 간단하게 알아보자. 파인튜닝에 대한 이론들은 .. 2024. 12. 5. (1) 큰 과정 GPU 서버에 SSH로 연결해서 파인튜닝을 진행하는 과정은 크게 다음 과정을 따른다.[서버접속] - [환경설정] - [데이터업로드] - [모델 훈련실행] 1. SSH로 GPU 서버에 접속한다. 22번 포트 사용을 디폴트로 생각한다.ssh 사용자이름@서버주소// ssh user@gpu-server.com 2. 파인튜닝에 필요한 환경을 준비한다. 필요한 소프트 웨어를 확인한다.ㄴ gpu 드라이버를 설치한다. ex) nvidia 드라이버ㄴ 딥러닝 라이브러리 설치 ( CUDA, CUDNN )CUDA - CUDA Toolkit Archive | NVIDIA Developer CUDA Toolkit ArchivePrevious releases of the CUDA Toolkit, GPU Computing SDK, .. 2024. 12. 5. 이전 1 다음