NLP (5) 썸네일형 리스트형 LangChain 기본 사용법(LLMs 기준) - Langchain QuickStart https://python.langchain.com/docs/get_started/quickstart Quickstart | 🦜️🔗 Langchain Installation python.langchain.com - Quickstart의 내용을 바탕으로 주석으로 설명 - Quickstart중 LLMs를 기준으로 함. 0. 정리 - LLM을 다양한 Tools을 써서 효과적으로 활용 가능(챗봇 등) - LLM으로 GPT + plug_in + with Bing 효과를 낼 수 있음. - 공부할 때는 OpenAI Api사용 하는 것이 제일 편함 - Python 3.8이상 버전에서 사용 할 것 - Template + tool + agent를 chain을 사용해서 묶어 줌. -.. HuggingFace(허깅페이스) 모델 Fine-Tuning(Pytorch 사용) https://huggingface.co/learn/nlp-course/en/chapter3/4?fw=pt A full training - Hugging Face NLP Course Now we’ll see how to achieve the same results as we did in the last section without using the Trainer class. Again, we assume you have done the data processing in section 2. Here is a short summary covering everything you will need: Before actually writi huggingface.co 0. 정리 - NLP목적에 맞게 모델을 불러와서.. HuggingFace(허깅페이스) 모델 Fine-Tuning(Trainer 사용) https://huggingface.co/learn/nlp-course/chapter3/1 Introduction - Hugging Face NLP Course 2. Using 🤗 Transformers 3. Fine-tuning a pretrained model 4. Sharing models and tokenizers 5. The 🤗 Datasets library 6. The 🤗 Tokenizers library 9. Building and sharing demos new huggingface.co 0. 정리 - transformers의 Trainer를 사용하면 간단하게 fine-tuning이 가능함. - NLP목적에 맞게 모델을 불러와서 사용(분류, 생성 등) - 전체 코드를 제시하고 코드 설명 -.. 구름IDE에서 Alpaca 사용(LangChain에서 OpenAI Credit 소진시 대체) 0. 참고자료 1) conda 가상 환경에서 아래의 작업을 하였음.(Miniconda 사용) 2) 구름ide GPU 환경(40G) 중 60%~70% 정도의 공간을 사용함. 3). https://youtu.be/v6sF8Ed3nTE - colab: https://colab.research.google.com/drive/115ba3EFCT0PvyXzFNv9E18QnKiyyjsm5?usp=sharing - model 불러오는 부분을 다른 것으로 변경해야 함.(커널 다운 됨) #모델을 'chainyo/alpaca-lora-7b'로 변경 tokenizer = LlamaTokenizer.from_pretrained("chavinlo/alpaca-native") #모델 변경가능 base_model = LlamaFor.. 허깅페이스 pipeline 사용법 https://huggingface.co/course/ko/chapter1/3?fw=pt 트랜스포머로 무엇을 할 수 있나요? - Hugging Face Course 이번 장에서는 트랜스포머(Transformer) 모델을 사용해 무엇을 할 수 있는지 같이 살펴보고, 🤗 Transformers 라이브러리 툴의 첫 사용을 pipeline() 함수와 함께 시작하겠습니다. 👀 오른쪽 상단에 Open in huggingface.co 0. 정리 - pipeline은 간단한 사용법을 제시한 것으로 기본 모델 말고 모델을 지정할 때에는 모델마다 작동 여부가 다름 - max_length, return_sequences 등의 파라미터도 모델에 따라서 적용 여부가 다름 - NLP를 단순하게 소개 하거나, 기초자를 대상으로 할.. 이전 1 다음