나만의 AI 챗봇, Oobabooga 실행기

안녕하세요! RunyourAI 입니다.

요새 🔥핫🔥한 AI라고 하면 ChatGPT를 빼놓을 수 없죠! 하지만 ChatGPT API를 활용하는 비용은 무시하기엔 적지 않은 금액입니다. 무엇보다 다양한 LLM 모델들이 오픈소스로 공개 되어 있는 요즘에는 말이죠.
공개된 모델을 가져와 내가 직접 실행해 보고 싶은데 설치할 것도 많고 …  ChatGPT처럼 대화형 GUI도 없고 …

그래서 저희 Runyour AI가 준비한 새로운 콘텐츠! 바로 바로 ✨Oobabooga✨ 입니다!
지금부터 Oobabooga에 대해 소개해 드리도록 하겠습니다.

시작해볼까요?

‍

Oobabooga..?

Oobabooga는 오픈된 LLM을 다운로드 받아서 직접 챗봇을 돌리고 파인튜닝까지 할 수 있는 서비스입니다.

‍
hugging face에 있는 다양한 모델을 손쉽게 다운 받는 것은 물론 여러 모델의 백엔드(transformers, llama.cpp, AutoGPTQ, GPTQ-for-LLaMa, ExLlama, RWKV 등등)를 쉽게 전환 할 수 있습니다.
뿐만 아니라 Alpaca, Vicuna, Dolly, Koala, ChatGLM 등등 매우 많은 모델에 대한 template도 제공되며, 나만의 데이터를 모아서 LoRA를 파인튜닝 하거나 동시에 여러 LoRA를 업로드도 할 수 있습니다.

‍

이런 무수히 많은 기능을 웹 UI로 간편하게 할 수 있다니 믿어지시나요?🙊
사실 Oobabooga의 최종 목표는 Stable Diffusion WebUI라고 합니다. 이전에 소개드렸던 Stable Diffusion의 WebUI를 보면 간편하게 내가 원하는 이미지를 생성할 수 있었는데 LLM계의 Stable Diffusion WebUI라니 ! 당장 사용해보고 싶지 않으신가요?

그럼 바로 실행해보도록 하겠습니다!

‍

‍

Oobabooga 실행하기.

Runyour AI에 로그인 후 Oobabooga를 실행할 머신을 선택합니다. 머신 대여 전 포인트를 충분히 충전한 상태에서 진행하셔야되는거 잊지 않으셨죠?
저는 RTX A5000을 대여해볼게요.

‍

머신을 선택했으니, 이제 템플릿을 선택해야합니다.
보이시죠? Oobabooga를 선택하고 대여버튼을 클릭합니다.

‍

A5000 사양으로 작업할 수 있는 개발 환경이 세팅되었습니다.
RunyourAI에서는 복잡한 설치 없이 바로 Oobabooga를 사용할 수 있어요! 클릭하여 바로 Web UI로 접속합니다.

‍

‍

Oobabooga가 실행되었습니다!
채팅을 하기 앞서 모델을 등록해줘야 하는데요. Model 탭을 통해 원하는 모델을 로드하거나 다운로드 할 수 있습니다. 저는 gemma 모델을 다운로드 하여 로드했습니다.

‍

💡hugging face의 있는 특정 모델들 중에는 권한이 필요한 모델들이 있습니다. 사전에 승인이 되지 않았다면 에러가 발생 할 수 있어요. 권한이 필요한 필요한 모델들을 사용할 때에는 hugging face 인증 토큰을 꼭 입력해야 합니다.

‍

아무런 설정을 하지 않고 Segformer 모델에 대해 질문해 봤는데요, 잘 대답하는 것 같나요?

‍

다양한 설정을 통해 커스텀이 가능하니, Runyour AI의 Oobabooga에서 본인만의 챗봇을 만들어 보세요!
해당 내용 유익하셨나요? 다음에 또 유익하고 알찬 정보를 공유하는 포스팅으로 만나요!🙌

‍

감사합니다.‍

‍

‍