핵심 요약
- 모델이 안 올라가는 원인은 대개 가중치·KV 캐시·병렬 요청분의 메모리 합계 초과입니다.
- KEEP_ALIVE는 -1이면 상주, 0이면 즉시 해제이며 요청별 keep_alive가 환경 변수보다 우선합니다.
- 병렬 수 × 컨텍스트 길이에 RAM이 비례하므로 병렬은 1에서 시작하고 컨텍스트는 필요한 만큼만 잡습니다.
모델이 안 올라갈 때는 세 가지를 조절하면 됩니다. 모델이 메모리에 머무는 시간(OLLAMA_KEEP_ALIVE), 동시에 올릴 모델 수와 요청 수, 컨텍스트 길이입니다. 양자화 수준은 모델 파일 크기 자체를 정하므로 이 설정들보다 먼저 정해야 합니다. 이 글은 Mac 한 대(통합 메모리)에서 여러 모델을 안정적으로 돌리는 순서로 정리했습니다.
모델이 안 올라가는 진짜 이유
모델이 로드되지 않는 원인은 대부분 메모리 합계 초과입니다. 가중치 크기에 컨텍스트(KV 캐시)와 병렬 요청분이 더해지고, 이미 로드된 다른 모델이 메모리를 점유하고 있으면 새 모델이 들어갈 자리가 없습니다. Apple Silicon은 CPU와 GPU가 메모리를 공유하므로, 브라우저나 IDE가 쓰는 메모리까지 같은 풀에서 빠져나갑니다.
Ollama FAQ에 따르면 새 모델을 올릴 메모리가 부족하고 이미 로드된 모델이 있으면, 요청은 바로 실패하지 않고 대기열에 들어갑니다. 즉 "안 올라간다"는 증상은 에러로 나타나기보다 응답이 오래 멈추는 형태일 수 있습니다. 이럴 때는 먼저 현재 상태부터 확인하세요.
ollama ps
ollama ps는 지금 로드된 모델과 메모리 사용량을 보여 줍니다. 쓰지 않는 모델이 남아 있다면 그것부터 내리는 것이 가장 빠른 해결책입니다.
OLLAMA_KEEP_ALIVE로 상주 시간 조절하기
OLLAMA_KEEP_ALIVE는 모델이 메모리에 머무는 시간을 정합니다. Ollama FAQ에 따르면 서버 시작 시 이 환경 변수를 설정해 모든 모델의 상주 시간을 바꿀 수 있습니다. /api/generate와 /api/chat의 keep_alive 파라미터는 이 환경 변수보다 우선합니다. 그래서 전역 기본값은 짧게 두고, 자주 쓰는 모델만 요청별로 길게 잡을 수 있습니다.
같은 문서에는 keep_alive를 -1로 주면 모델이 계속 로드된 상태로 남고 0으로 주면 즉시 언로드된다고 나옵니다.
# 계속 상주
curl http://localhost:11434/api/generate -d '{"model": "llama3.2", "keep_alive": -1}'
# 즉시 해제
curl http://localhost:11434/api/generate -d '{"model": "llama3.2", "keep_alive": 0}'
메모리가 빠듯한 Mac이라면 무거운 모델은 쓰고 나서 0으로 내리고, 가벼운 보조 모델(임베딩 등)만 -1로 고정하는 식이 안정적입니다.
동시 로드 수와 병렬 요청 제한
여러 모델을 함께 쓸 때는 OLLAMA_MAX_LOADED_MODELS와 OLLAMA_NUM_PARALLEL이 핵심입니다. Ollama FAQ에 따르면 OLLAMA_MAX_LOADED_MODELS는 메모리에 맞는 범위에서 동시에 로드할 수 있는 모델의 최대 수입니다. 기본값은 GPU 수의 3배이고, CPU 추론이면 3입니다.
OLLAMA_NUM_PARALLEL은 모델 하나가 동시에 처리하는 요청의 최대 수입니다. 같은 문서에서 기본값은 1이고, 필요한 RAM은 OLLAMA_NUM_PARALLEL × OLLAMA_CONTEXT_LENGTH에 비례해 늘어난다고 설명합니다. 병렬을 4로 올리면 컨텍스트 몫의 메모리도 그만큼 필요하다는 뜻입니다.
혼자 쓰는 개발용 Mac이라면 병렬은 1로 두고, 동시 로드 수만 실제 메모리에 맞춰 줄이는 쪽을 권합니다. 두 설정의 효과는 다음과 같습니다.
| 설정 | 역할 | 메모리 영향 |
|---|---|---|
| OLLAMA_KEEP_ALIVE | 유휴 모델의 상주 시간 | 길수록 점유 시간이 늘어남 |
| OLLAMA_MAX_LOADED_MODELS | 동시 로드 모델 수 상한 | 낮출수록 총 점유량 상한이 낮아짐 |
| OLLAMA_NUM_PARALLEL | 모델당 동시 요청 수 | 컨텍스트 몫이 요청 수만큼 늘어남 |
| OLLAMA_CONTEXT_LENGTH | 컨텍스트 길이 | 길수록 KV 캐시가 커짐 |
컨텍스트 길이와 양자화 선택
컨텍스트 길이는 메모리 예산을 가장 크게 흔드는 변수 중 하나입니다. 위에서 본 대로 필요한 RAM이 OLLAMA_CONTEXT_LENGTH에 비례해 커지기 때문입니다. 모든 작업에 긴 컨텍스트가 필요하지는 않습니다. 코드 자동완성용 모델은 짧게, 긴 문서 요약용 모델만 길게 잡는 식으로 모델마다 다르게 두는 편이 낫습니다.
양자화는 같은 모델이라도 가중치 용량을 달리 만드는 선택입니다. 비트 수가 낮을수록 파일이 작아져 여러 모델을 함께 올리기 쉽지만, 품질은 떨어질 수 있습니다. 다만 양자화 단계별 정확한 메모리 절감 수치와 품질 저하 폭은 공식 문서에서 확인되지 않아 여기서는 수치를 제시하지 않습니다. 사용할 모델의 태그별 파일 크기를 Ollama 라이브러리에서 비교하고, 직접 써 보며 품질을 판단하세요.
버전에 따라 기본 동작이 바뀌는 경우도 있습니다. 업그레이드 전에는 Ollama GitHub Releases에서 변경 사항을 확인하는 습관을 들이세요. 메모리 관련 기본값이 바뀌면 이전에 잘 돌던 조합이 갑자기 안 올라갈 수 있습니다.
실천 가이드
Mac 한 대에서 모델 여러 개를 안정적으로 돌리는 순서는 다음과 같습니다.
ollama ps로 지금 올라간 모델과 메모리 사용량을 확인합니다.- 용도별로 모델을 나눕니다. 무거운 주력 모델 하나와 가벼운 보조 모델 한두 개가 현실적입니다.
- 전역
OLLAMA_KEEP_ALIVE는 짧게 두고, 보조 모델만 요청에서keep_alive: -1로 고정합니다. 무거운 모델은 쓴 뒤0으로 내립니다. OLLAMA_MAX_LOADED_MODELS를 실제 메모리에 맞게 낮추고,OLLAMA_NUM_PARALLEL은 1에서 시작합니다.- 컨텍스트 길이는 작업에 필요한 만큼만 잡습니다. 병렬 수를 곱한 값이 메모리 예산 안에 들어가는지 확인합니다.
- 그래도 부족하면 더 낮은 비트의 양자화 태그로 바꾸거나 더 작은 모델을 선택합니다.
설정 하나를 바꿀 때마다 ollama ps로 점유량을 다시 확인하세요. 공식 문서가 설명하는 관계(병렬 수 × 컨텍스트 길이에 비례하는 메모리, 메모리가 모자라면 대기열)를 기준으로 조정하면 시행착오가 크게 줄어듭니다.
자주 묻는 질문
Q. Ollama에서 모델이 안 올라가고 응답이 오래 멈추면 어떻게 하나요?
메모리가 부족하고 다른 모델이 이미 로드되어 있으면 요청이 실패하지 않고 대기열에 들어갈 수 있습니다. 먼저 ollama ps로 로드된 모델과 메모리 사용량을 확인하고, 쓰지 않는 모델을 내리세요.
Q. 모델을 메모리에 계속 두거나 바로 내리려면 어떻게 하나요?
/api/generate나 /api/chat 요청의 keep_alive를 -1로 주면 계속 로드된 상태로 남고, 0으로 주면 즉시 언로드됩니다. 이 파라미터는 OLLAMA_KEEP_ALIVE 환경 변수보다 우선합니다.
Q. OLLAMA_NUM_PARALLEL과 컨텍스트 길이는 메모리에 어떤 영향을 주나요?
공식 FAQ에 따르면 필요한 RAM은 OLLAMA_NUM_PARALLEL × OLLAMA_CONTEXT_LENGTH에 비례해 늘어납니다. 그래서 혼자 쓰는 개발용 Mac이라면 병렬은 1로 두고 컨텍스트는 작업에 필요한 만큼만 설정하는 것이 좋습니다.
참고 자료
이 글은 웹 검색으로 확인한 위 출처를 바탕으로 AI(claude-sonnet-5-5)가 작성했습니다. 수치·가격은 출처 원문에서 다시 확인하세요.