본문 바로가기

NLP/Hugging Face

(3)
HuggingFace(허깅페이스) 모델 Fine-Tuning(Pytorch 사용) https://huggingface.co/learn/nlp-course/en/chapter3/4?fw=pt A full training - Hugging Face NLP Course Now we’ll see how to achieve the same results as we did in the last section without using the Trainer class. Again, we assume you have done the data processing in section 2. Here is a short summary covering everything you will need: Before actually writi huggingface.co 0. 정리 - NLP목적에 맞게 모델을 불러와서..
HuggingFace(허깅페이스) 모델 Fine-Tuning(Trainer 사용) https://huggingface.co/learn/nlp-course/chapter3/1 Introduction - Hugging Face NLP Course 2. Using 🤗 Transformers 3. Fine-tuning a pretrained model 4. Sharing models and tokenizers 5. The 🤗 Datasets library 6. The 🤗 Tokenizers library 9. Building and sharing demos new huggingface.co 0. 정리 - transformers의 Trainer를 사용하면 간단하게 fine-tuning이 가능함. - NLP목적에 맞게 모델을 불러와서 사용(분류, 생성 등) - 전체 코드를 제시하고 코드 설명 -..
허깅페이스 pipeline 사용법 https://huggingface.co/course/ko/chapter1/3?fw=pt 트랜스포머로 무엇을 할 수 있나요? - Hugging Face Course 이번 장에서는 트랜스포머(Transformer) 모델을 사용해 무엇을 할 수 있는지 같이 살펴보고, 🤗 Transformers 라이브러리 툴의 첫 사용을 pipeline() 함수와 함께 시작하겠습니다. 👀 오른쪽 상단에 Open in huggingface.co 0. 정리 - pipeline은 간단한 사용법을 제시한 것으로 기본 모델 말고 모델을 지정할 때에는 모델마다 작동 여부가 다름 - max_length, return_sequences 등의 파라미터도 모델에 따라서 적용 여부가 다름 - NLP를 단순하게 소개 하거나, 기초자를 대상으로 할..