[RunPod] 고성능 컴퓨팅 환경을 활용하고 싶다면? RunPod!

런팟 (RunPod)란?

 

 

 최근 LLM과 관련된 Dacon 프로젝트를 수행하게 되면서, 기존 제가 가지고 있는 컴퓨팅 환경은 그 성능에 한계가 있다는 큰 문제가 있었습니다. 물론 학교 컴퓨터를 교수님께 양해를 구해 사용할 수 있지만, 학교 컴퓨터의 성능도 Gemma 7B 정도의 큰 모델에 대한 파인튜닝을 수행하게 되면 여전히 답답해서 기다리지 못하겠다는 문제가 있었습니다... 이에 대해서 저는 CoLab Pro도 시도해보았지만 성능은 한참 떨어지고, 훨씬 좋은 컴퓨팅 환경을 사용해보고 싶었습니다. 이 과정에서 AWS 같은 클라우드를 활용해보고 싶었지만 해당 클라우드 환경 같은 경우는 구축하는 방법도 배워야하고 그러다가 대회가 모두 끝날 것 같아서, 새로운 방법을 찾고자 했습니다. 

 

 이에 따라서, Dacon 대회 커뮤니티를 검색해보면서 찾아본 결과, 많은 분들이 RunPod를 활용하고 계신다는 것을 알게 되었고, 최근 RAG와 LLM을 공부해보기 위해 구매했던 책들에서도 RunPod를 활용하는 방법이 나와있어서, 이를 소개하고자 이번 글을 작성하게 되었습니다. 그럼, RunPod에 대해서 알아보도록 하겠습니다. 

 

■ RunPod 소개

 일단 런팟은 클라우드 기반의 GPU 컴퓨팅 플랫폼으로 딥러닝 모델 학습이나 AI 프로젝트 실행에 필요한 고성능 컴퓨팅 자원을 제공합니다. 또한, Multi-GPU를 활용해보고 싶은 분들에게도 런팟은 다양한 GPU를 제공하기 때문에 이를 기반으로 더 효율적이고 빠른 실습 환경을 구축할 수 있고 실제 산업 현장에서 사용되는 고성능 컴퓨팅 환경을 경험할 수 있다는 장점이 있습니다. (럿판 홈페이지 링크는 바로 아래 첨부하겠습니다. )

 

RunPod 링크 : https://www.runpod.io/

RunPod - The Cloud Built for AI

 

■ 제공되는 컴퓨팅 환경

 런팟에서 제공되는 환경은 80GB+ VRAM, 80GB VRAM, 48GB VRAM, 24GB+ VRAM를 기준으로 다양한 서비스 환경이 구성되어 있습니다. 물론 성능이 높아질 수록 시간당 부과되는 요금이 증가합니다. 일단은 아래 사진으로 가장 저렴한 환경인 24GB VRAM AND UNDER을 제공하는 환경에는 어떤 컴퓨팅 환경을 활용할 수 있는 지 확인하실 수 있습니다. 간략하게 살펴보면 RTX 3090과 4090 환경을 사용할 수 있습니다. 또한 요금 중에서 Secure과 Community를 보면 각기 다른 것을 보실 수 있는 데, 프로젝트에 대한 보안이 필요하다면 Secure를 사용하지고 그렇지 안으시다면 Community를 사용하시면 됩니다.

 

 

■ 환경 구성

 그럼 이제, 환경 구성을 해보도록 하겠습니다. 일단 간단하게 홈페이지를 통해서 회원가입을 하시면 아래와 같은 화면을 확인하실 수 있습니다. 

 

 그 다음에는 왼쪽 메뉴 바에서 [Billing]을 클릭하여 크래딧을 결제하는 화면으로 넘어가세요. 그러면 아래 사진과 같은 화면을 확인하실 수 있습니다. 대충 25, 50, 100 달러 중에서 요금을 선택하실 수 있는 데, 저 같은 경우는 일단 50 달러 (약 7만원)를 결제해서 사용할 예정입니다.

 

 결제를 하셨다면 이제 다음으로 [Pods]를 통해 아래 사진과 같은 화면으로 넘어가시고, 보라색 Deploy 아이콘을 클릭하셔서 컴퓨팅 환경을 선택하는 화면으로 넘어가세요!

 

 아이콘을 클릭하셨다면 아래와 같은 화면이 나오게 됩니다. 거기서 이제 GPU VRAM을 본인이 원하는 만큼 조정한 다음에 아래에 있는 모델 중 적당하다고 생각하는 컴퓨팅 환경을 클릭하시면 됩니다. 그러면 그에 맞는 Pytorch도 설정되고 본인이 원하는 시간 당 가격 플랜도 설정할 수 있습니다. 

 

 선택이 완료되셨다면 오른쪽 그림 맨 하단의 보라색 버튼을 클릭하시면 컴퓨팅 환경이 만들어집니다. 

 

 

 환경이 만들어 진 다음에 왼쪽 메뉴에서 Pod를 클릭하시면 다음과 같은 화면을 보실 수 있습니다. 여기서 Connect를 누르시고  Jupyer Lab을 클릭하시면 쥬피터 노트북 환경을 실행하실 수 있습니다. 

 

 

■ 주의 사항 ***

 

 런팟을 사용하시면서 주의하셔야할 점은 쓸데없는 요금 낭비를 막는 것입니다. 그래서 따로 사용하지 않으실 때에는 아래 사진에서 정지 버튼을 누르고 terminate까지 해야 더 이상 요금이 부과 되지 않습니다. 

 

 

■ 참고

링크 : https://jiogenes.github.io/%ED%81%B4%EB%9D%BC%EC%9A%B0%EB%93%9C/2023/11/08/runpod-1.html

[RunPod] GPU가 없어요? GPU 메모리가 부족해요? 런팟을 사용해보세요

 

링크 : https://www.aladin.co.kr/shop/wproduct.aspx?ItemId=353583610&start=slayer

한 권으로 끝내는 실전 LLM 파인튜닝

 

---

마무리 

 여기까지 런팟에 대해서 알아보는 시간을 가졌습니다. Dacon 대회 중에서 난독화 리뷰 복원 대회가 있는 데, 해당 대회를 제대로 진행하지 못해서 정말 아쉬웠습니다. 하지만 다행히... 한 3일 정도 남은 시점에서 그래도 뭐라도 해볼 수 있는 기회가 생겼으니, 남은 시간 동안 그래도 조금이라도 결과를 만들어내서 제출해볼 수 있었으면 좋겠습니다. 저와 같은 컴퓨팅 환경에 대한 고민을 가지신 분들이라면 얼른 런팟을 사용해서 최적의 컴퓨팅 환경을 통해서 본인의 프로젝트를 진행해보세요! 그럼, 이번 글은 여기서 마무리하도록 하겠습니다.