LLM 모델·게이트웨이

이 화면에서 하는 일

• LLM 모델 — 제공자(provider)별로 고를 수 있는 모델 이름을 추가·편집·활성/비활성·삭제합니다. 제공자 자체는 고정이고 모델만 관리합니다.
• 게이트웨이 — 실제 모델 키 배포, 가상키(팀·역할·개인별), 예산·RPM·TPM 한도, 모델 단가, 역할별 모델 라우팅을 설정합니다.

LLM 모델

• 제공자 카드마다 모델 ID(모델에 보내는 이름)와 표시 라벨, ‘활성’/‘비활성’ 배지, ‘편집’·‘삭제’가 있습니다.
• ‘+ 모델 추가’ — 새 모델 ID(예: gpt-4.1-mini)와 표시 라벨(선택)을 넣고 ‘추가’합니다.
• 여기서 바꾼 목록은 다른 설정 화면의 모델 선택 목록에 바로 반영됩니다. 새 제공자를 붙이려면 개발이 필요합니다.
• ‘활성’ 배지를 누르면 바로 비활성으로 바뀝니다.

게이트웨이

• 오른쪽 위 ‘● LiteLLM 연결됨’/‘● LiteLLM 없음’으로 게이트웨이 연결을 봅니다.
• LLM 라우팅 (LiteLLM) 탭 — ‘쿼터 집행 위치’(체크하면 AGENIX가 한도 초과를 차단. LiteLLM이 한도를 집행하면 끄라고 안내), ‘모델 배포 (provider 실제 키)’(논리명·실제 모델·단가·api_base, ‘+ 배포’), ‘가상키 (팀/역할 바인딩)’(별칭·적용 대상·모델그룹·한도, ‘+ 가상키’).
• 같은 논리명에 키(배포)를 여러 개 넣으면 번갈아 쓰고(로드밸런싱), 하나가 실패하면 다른 배포로 최대 2번 다시 시도합니다. 연속 2번 실패한 배포는 30초 쉬게 합니다.
• 가상키 — 적용 대상을 전체 사용자(기본)·특정 사용자(직원)·부서·역할 중에서 고르고, 예산(₩)과 주기(일·주·월), rpm(분당 요청 수), tpm(분당 토큰 수)을 넣습니다. 한도를 넘으면 LiteLLM이 자동 차단합니다. 예산이 동작하려면 그 모델 배포에 단가가 있어야 합니다.
• 쿼터 탭 — LiteLLM을 쓰지 않을 때만 보이는 대체 한도(기본 쿼터·그룹 쿼터, 0 = 무제한)입니다. LiteLLM이 연결되면 숨겨집니다.
• 모델 단가·라우팅 탭 — 모델 단가(100만 토큰당 입력·출력 단가, 0이면 비용 미집계)와 역할별 모델 라우팅(특정 역할만 지정 모델 사용)을 설정합니다.
• 가상키·배포 키 원문은 암호화 저장되어 화면에 다시 보이지 않습니다.

따라 해 보기

1. 1LLM 모델에서 제공자 카드별 모델 수와 ‘활성’ 배지를 확인합니다.
2. 2아무 모델의 ‘편집’을 눌러 모델 ID·표시 라벨 칸을 본 뒤 ‘취소’를 누릅니다.
3. 3게이트웨이를 열어 오른쪽 위가 ‘● LiteLLM 연결됨’인지 확인합니다.
4. 4모델 배포 표에서 논리명과 실제 모델을, 가상키 표에서 별칭·적용 대상(‘전체’ 등)·한도를 확인합니다.
5. 5가상키의 ‘수정’을 눌러 적용 대상·예산·주기·rpm·tpm 칸을 살펴본 뒤 ‘취소’로 닫습니다.
6. 6‘모델 단가·라우팅’ 탭을 눌러 모델 단가 표와 역할별 모델 라우팅 목록을 봅니다(저장하지 않기).

도움말 · 게이트웨이는 실제 서비스의 모든 AI 호출이 지나가는 길입니다. 가상키·배포의 ‘삭제’는 확인 창 없이 바로 지워지고, 기본 가상키(적용 대상 ‘전체’)를 지우면 게이트웨이 경유가 끊길 수 있습니다. ‘쿼터 집행 위치’ 체크도 누르는 즉시 저장됩니다. LLM 모델의 ‘활성’ 배지·‘삭제’도 바로 적용되니 시험 중에는 누르지 마세요.