AI7 언론사 AI 활용 사례 조선일보조선일보 x 베스핀글로벌 ( 미디어 dx ) 기사 AI 어시스턴트 ( 생성형 ) - GPT 3.5에다가 파인튜닝 한 것 ( SLLM 아님 ) - 회사 CMS 로는 arc 사용 - 국제뉴스, 재계 인사 신년사, 기업 보도자료, 연구결과를 기사화 로그인하면 제목과 보고내용을 넣는 헤드라인과 발제문 칸이 있음거기 텍스트를 입력하면 10초 내에 200자 원고지 5-6매 분량 기사가 '그럴듯한'조선일보 스타일로 나오는 것 조선일보는 기사 5만건을 학습시킴. 분량은 단문 ( 600 - 1000자 ), 장문 ( 1200 - 1800자 ) 중 선택 가능 입력내용이 적으면 확인되지 않은 정보가 나타나는 환각증상 나타날 수 있음 - 스트레이트 외 포멧은 작성할 수 없음. 동아일보 경제뉴스 AI 챗봇 Ask.. 2024. 12. 9. 학습 방법론 1. llama, eeve 한국어 훈련된 모델을 가져와서 가지고 있는 기사데이터를 학습시킨다.2. llama, eeve 한국어 훈련된 모델을 가지고 와서 외신 기사 데이터를 학습시킨다. 그 후에 미세조정한다. - 이 방법은 거의 불가능하다고 보면 될 듯. 외신의 기사와 한국의 기사 제목이 너무 다르다. 3. gpt-4 모델에 데이터셋 학습과 미세조정만을 계속 반복해서 실시한다. ( 완료 ) 4. 베이스 모델에 이미 기사 제목을 달도록 만들어진 모델에 한국어를 학습시킨다. 기사 제목 생성 모델 ( eng ) czearing/article-title-generator at main czearing/article-title-generator at mainDetected Pickle imports (3.. 2024. 12. 5. (a) 데이터셋 데이터셋이 가장 문제였는데, 생각보다 쉽게 해결되었다. 한국언론진흥원에서 뉴스 데이터를 훈련/검증용을 분리까지 해놔서 올려놨다. 심지어, 용도에 따른 분류까지 다 해놨다. 이렇게 되면 다음이 가능하다. 본문을 통해서 제목을 생성해주는 어시스턴트개별 기사에 대한 질문을 받아주는 어시스턴트등등 여러 구상이 가능해졌다. 2024. 12. 5. (5) 학습진행 - 2 2024. 12. 5. (4) 학습진행 - 1 2024. 12. 5. (2) 필요한 라이브러리 세팅 토크나이저 생성모델 매개변수 양자화 ( 메모리 절감 ) - bitsandbytes 경량화 - peft모델 로딩 / 업로드 - transformers ( hugging face )데이터셋 로드 - datasets 학습 - trl추론 - pipeline로깅 - logging 학습현황 업로드 - streamlit (py) 참고할 글[Python] Llama3를 파인튜닝을 통해 나만의 데이터로 학습 및 Huggingface에 적재해보자. - 미완성의신 [Python] Llama3를 파인튜닝을 통해 나만의 데이터로 학습 및 Huggingface에 적재해보자. - 미완성의신파인튜닝을 통해 나만의 데이터를 학습 시켜 보자. 그전에 파인튜닝에 대해 알아 봐야 하는데, 아주 간단하게 알아보자. 파인튜닝에 대한 이론들은 .. 2024. 12. 5. (1) 큰 과정 GPU 서버에 SSH로 연결해서 파인튜닝을 진행하는 과정은 크게 다음 과정을 따른다.[서버접속] - [환경설정] - [데이터업로드] - [모델 훈련실행] 1. SSH로 GPU 서버에 접속한다. 22번 포트 사용을 디폴트로 생각한다.ssh 사용자이름@서버주소// ssh user@gpu-server.com 2. 파인튜닝에 필요한 환경을 준비한다. 필요한 소프트 웨어를 확인한다.ㄴ gpu 드라이버를 설치한다. ex) nvidia 드라이버ㄴ 딥러닝 라이브러리 설치 ( CUDA, CUDNN )CUDA - CUDA Toolkit Archive | NVIDIA Developer CUDA Toolkit ArchivePrevious releases of the CUDA Toolkit, GPU Computing SDK, .. 2024. 12. 5. 이전 1 다음