[TIL] RunPod

RunPod이란

RunPod은 GPU가 달린 클라우드 컴퓨터를 빌려 쓰는 서비스다.

AI 모델 학습, 추론, 이미지 생성, 영상 생성, Jupyter 실험, 모델 API 배포처럼 GPU 자원이 필요한 작업을 실행할 수 있다. 내 컴퓨터에서 직접 무거운 연산을 돌리는 것이 아니라, RunPod이 제공하는 원격 GPU 서버에서 작업을 실행하는 방식이다.

내 컴퓨터
  → 접속, 코드 작성, 결과 확인
 
RunPod
  → 실제 GPU 연산 수행

즉, RunPod은 AI 작업을 위한 GPU 대여 플랫폼이다.

왜 GPU 클라우드가 필요한가

AI 작업은 GPU 의존도가 높다.

이미지 생성 모델, 영상 생성 모델, LLM 추론 서버, 음성 모델, 3D 생성 모델처럼 큰 모델은 일반 노트북에서 실행하기 어렵다. 실행되더라도 매우 느리거나, GPU 메모리 부족으로 아예 실행되지 않을 수 있다.

이때 선택지는 보통 세 가지다.

1. 고성능 GPU 컴퓨터를 직접 산다
2. Colab 같은 노트북 환경을 쓴다
3. RunPod 같은 GPU 클라우드를 빌린다

RunPod은 세 번째 방식이다. RTX 4090, A100, H100 같은 고성능 GPU를 필요한 시간만큼 빌려 쓸 수 있다.

직접 GPU 컴퓨터를 사면 초기 비용이 크다. 반면 RunPod은 필요한 작업이 있을 때만 비용을 내고 사용할 수 있다. 자주 쓰지 않거나, 특정 실험에만 강한 GPU가 필요한 경우 유용하다.

RunPod의 주요 사용 방식

RunPod에는 크게 두 가지 사용 방식이 있다.

1. Pods
2. Serverless

Pods

Pods는 GPU 서버 한 대를 직접 빌려 쓰는 방식이다.

GPU를 선택하고, Docker 이미지나 템플릿을 고르면 컨테이너 기반의 작업 환경이 만들어진다. 이후 Jupyter Notebook, SSH, VS Code Server 등을 통해 접속해서 작업할 수 있다.

GPU 선택
  ↓
템플릿 선택
  ↓
Pod 생성
  ↓
Jupyter / SSH 접속
  ↓
작업 실행

Pods는 실험과 개발에 적합하다.

예를 들면 이런 작업에 사용할 수 있다. GPU가 달린 리눅스 서버 하나를 빌린다고 생각해도 될 듯

• Jupyter Notebook 기반 GPU 실험
• Stable Diffusion / ComfyUI 실행
• LLM 추론 테스트
• 모델 학습
• 데이터 처리
• GPU가 필요한 Python 스크립트 실행

Serverless

Serverless는 GPU 서버를 계속 켜두는 방식이 아니라, 요청이 들어올 때만 작업을 실행하는 방식이다.

사용자는 모델이나 작업 코드를 endpoint 형태로 배포하고, 외부에서 요청이 들어오면 RunPod이 GPU 워커를 실행해 결과를 반환한다.

사용자 요청
  ↓
Serverless Endpoint
  ↓
GPU Worker 실행
  ↓
모델 추론
  ↓
결과 반환

Serverless는 배포와 운영에 적합하다. 예를 들면 이런 작업에 사용할 수 있다.

• 이미지 생성 API
• LLM 응답 API
• 음성 변환 API
• 배치 추론
• 사용량이 불규칙한 AI 기능

요청이 없을 때 GPU 서버를 계속 켜두지 않아도 되기 때문에, 사용량이 일정하지 않은 서비스에서 비용을 줄일 수 있다.

Pods와 Serverless의 차이

처음 실험할 때는 Pods가 이해하기 쉽다. 모델이나 작업이 어느 정도 정리된 뒤 API로 제공하려면 Serverless가 더 적합하다.

Secure Cloud와 Community Cloud

RunPod에는 GPU 제공 방식에 따라 Secure Cloud와 Community Cloud가 있다.

Community Cloud는 비용이 낮을 수 있지만, 안정성이나 보안 측면에서는 Secure Cloud와 차이가 있을 수 있다. 민감한 데이터, 회사 코드, 비공개 모델을 다룬다면 Secure Cloud 쪽을 우선 고려하는 것이 안전하다. 단순 실험이나 개인 프로젝트라면 Community Cloud도 선택지가 될 수 있다.

비용 구조

RunPod은 기본적으로 사용량 기반 과금 구조다.

GPU 사용 시간
+ 디스크 / 볼륨 비용
+ 네트워크 스토리지 비용
+ Serverless 실행 비용

Pods를 켜두면 GPU 사용 시간에 따라 비용이 발생한다. Serverless는 요청을 처리하는 실행 시간 중심으로 비용이 발생한다. 스토리지는 별도 항목으로 과금될 수 있다.

주의할 점은 GPU 서버를 꺼도 스토리지 비용은 남을 수 있다는 것이다.

예를 들어 Pod을 멈추면 GPU 비용은 줄어들 수 있지만, 모델 파일이나 작업 결과가 저장된 volume, network storage가 남아 있으면 저장소 비용은 계속 발생할 수 있다.

실험이 끝나면 아래 항목을 확인하는 것이 좋다.

Pod을 중지했는가?
불필요한 volume이 남아 있는가?
network storage를 사용 중인가?
필요한 결과물은 백업했는가?
불필요한 모델 파일을 삭제했는가?

클라우드 비용은 보통 실행한 작업보다, 끄지 않고 남겨둔 리소스에서 발생하기 쉽다.

RunPod을 쓰기 좋은 경우

RunPod은 다음과 같은 상황에 잘 맞는다.

- 로컬 GPU가 없는데 AI 모델을 실행해야 할 때
- 짧은 시간만 고성능 GPU가 필요할 때
- Stable Diffusion이나 ComfyUI를 돌려보고 싶을 때
- LLM 추론 서버를 테스트하고 싶을 때
- Jupyter 기반으로 GPU 실험을 하고 싶을 때
- 모델을 API 형태로 배포하고 싶을 때
- AWS/GCP보다 가볍게 GPU 환경을 구성하고 싶을 때

특히 개인 개발자나 작은 팀이 빠르게 GPU 실험 환경을 만들 때 유용하다. GPU와 템플릿을 선택하면 비교적 빠르게 실행 환경을 만들 수 있기 때문이다. 다만 운영 환경에서는 보안, 네트워크, 비용, 장애 대응을 별도로 고려해야 한다.

마치며

RunPod은 AI 작업을 위해 GPU 서버를 필요한 만큼 빌려 쓰는 클라우드 서비스다.

RunPod이 제공하는 것:
GPU 서버, 컨테이너 실행 환경, 스토리지, 서버리스 실행 환경
 
사용자가 하는 것:
모델 선택, 코드 실행, 데이터 준비, 결과 저장, 비용 관리

참고 자료

• RunPod - Overview
• RunPod - Cloud GPUs
• RunPod - Pods Overview
• RunPod - Serverless Overview
• RunPod - Serverless Pricing
• RunPod - Pricing