기업이 당장 붙여야 할 AI OPS 스택 2025 — 모델·평가·워크플로·권한·대시보드 실전 레시피

0) 30초 요약

• 승부는 모델이 아니라 운영체계(OPS). 모델·지식·평가·권한·비용을 한 레이어로 묶어야 지속 운용 가능.
• 필수 5요소: 모델 라우팅 / 지식·문체 허브 / 평가(Evals) / 권한·감사 / KPI 대시보드.
• 한 라인(문서·CS·영업보조·정산)부터 90일 안에 숫자 뽑아 운영비 전환.

1) 왜 “AI OPS”가 첫 단추인가

AI 도입 실패 기업의 90%는 모델부터 넣고 운영을 나중에 생각했습니다. AI는 도입이 아니라 운영입니다. 일관성·신뢰·비용·품질·확장성을 동시에 잡아야 업무에 붙습니다.

2) AI OPS의 기본 코어 스택 — 반드시 갖춰야 할 5요소

3) 예산대별 실전 AI OPS 스택 레시피

3-1) 스타터 (₩0 ~ ₩30만/월)

• 모델: GPT-4.1 Mini + Claude Haiku 혼합
• 라우팅: 규칙 기반 수동 라우팅
• 지식: Notion + 임베딩(무료 벡터)
• 평가: 수동 기준표 + 주간 샘플 검수
• 권한: 팀 단위 권한으로 최소 적용
• 대시보드: Google Sheet KPI

3-2) 성장 (₩120만 ~ ₩350만/월)

• 라우팅: OpenRouter/Azure/Anthropic Routing
• 지식: Qdrant/Weaviate + Prompt Hub
• 평가: Promptfoo or Ragas
• 권한: 팀별 API Key 분리 + 감사로그
• 대시보드: Metabase/Superset
• 워크플로: n8n / Make / LangGraph

3-3) 엔터프라이즈 (₩500만 ~ ₩2,000만/월)

• 모델 정책 엔진 + 비용/품질 기반 자동 라우팅
• 온프렘 벡터DB + 비공개 정책/문체 레이어
• 자동 회귀 테스트 + 환각률 모니터링
• LDAP/AD 연동 RBAC + 감사 레포트 + PII 필터
• KPI + SLI/SLO + 비용 최적화 리포트
• LangGraph + Temporal + 사내 API BOT Layer

4) 현장에서 바로 쓰는 90일 로드맵

0~30일차: 인벤토리 & 표준

• 문서/CS/정산/보고/정책/FAQ 수집 → 중복/구식 20% 폐기
• 회사 말투/문체/금칙어·필수표현 정리 → 지식 레이어
• PoC 2개 선정: 정산/CS/문서/QA/영업보조 등 숫자 바로 나오는 곳

31~60일차: OPS 구축 & 파일럿

• 모델 라우팅 + Evals + 지식 허브
• 팀 10~20명 파일럿 → KPI 측정(처리시간/비용/품질/사용률)

61~90일차: 증명 & 확장

• Before/After 성과 리포트 → 처리시간↓ 비용↓ 정확도↑ 만족도↑
• 예산 “투자”→“운영비” 전환 요청
• 전사 확장 가이드/보안/정책 문서화

5) MadDev 결론

다음 시대는 에이전트가 일을 하고 사람은 검수·결정·전략에 집중한다. 개발자/PM의 실력은 문제정의 → OPS 설계 → 자동화 품질/비용 관리로 측정된다.