품질·분석

이 화면에서 하는 일

• 평가(Evals) — 등록한 시나리오(질문 + 기대 답변 + 기대 도구)를 자동 실행해 AI 심판이 채점하고 도구 선택도 검사합니다. 슈퍼관리자만.
• 피드백 루프 — 사용자가 위젯·앱에서 남긴 👍👎를 모아 개선 대상을 찾고 정답셋에 넣습니다. 슈퍼관리자만.
• 평가와 피드백 루프는 같은 문제은행(정답셋)을 함께 씁니다.
• A/B 테스트·비즈니스 임팩트 — 슈퍼관리자·사이트 관리자가 봅니다.

평가(Evals)

• 위쪽 숫자 — 전체 시나리오, 카테고리, 최근 답변 통과율, 최근 도구 통과율, 최근 전문 비서 선택 정확도.
• 실행 — 카테고리 칩(RAG(사내문서), ERP 고객관리, ERP 영업활동 … 멀티에이전트, 일반)을 고르고 ‘… 실행’, 또는 ‘샘플 실행’(기본 20개 무작위), ‘전체 실행’. 전체 실행은 시나리오 수만큼 AI를 부르므로 토큰이 많이 듭니다.
• ‘평가용 ERP 복제본에서 실행(기록·처리 포함)’ — 끄면 기록 도구 문항은 건너뛰어 실제 ERP 데이터를 바꾸지 않습니다. 켜면 운영 DB 복사본에서 기록·처리 문항까지 실행합니다.
• 시나리오 목록 — 질문, 기대 답변, 카테고리·기대 도구(🔧)·평가 직원(👤)·‘기록 도구’·‘권한·범위’·‘✓ 결과 검증’ 배지. ‘🪄 자동생성’(MCP 서버 도구 설명으로 초안 생성), ‘+ 항목’, ‘수정’·‘삭제’.
• 평가 이력 — 실행마다 답변·도구·비서 선택·결과 검증 통과 수. ‘📄 성적서’와 ‘상세’(문항별 기대/실제, 기대 도구/실제 호출)를 엽니다.

피드백 루프

• 오른쪽 위 7일·30일·90일로 기간을 고릅니다.
• 카드 — 👍 좋아요, 👎 아쉬워요, 만족도(직전 기간 대비 ▲▼), 코멘트, 개선 대상, 최신 평가 통과율.
• 일별 만족도·피드백 추이 — 막대는 👍👎 건수, 선은 만족도(%).
• 개선 대상 랭킹 — 여러 번 👎를 받은 질문. ‘→ 정답셋에 추가’를 누르면 받은 답과 처리 기록(호출 도구·전문 비서·질문한 직원)이 채워진 입력 창이 열립니다.
• 최근 피드백 — 전체/👍/👎, 날짜, ‘질문·답변·코멘트 검색’으로 거릅니다.
• 정답셋 (골든셋) — 평가와 같은 목록. ‘평가 실행’은 카테고리·샘플을 고르지 않고 실행합니다. 평가 이력의 ‘상세’로 문항별 채점을 봅니다.

A/B 테스트

• ‘+ 실험 시작’ — 실험 이름, 설명, 실험 유형(시스템 프롬프트 비교 / RAG Rerank 사용 여부 비교), A·B 그룹 값, 트래픽 분배(A그룹 비율 %). 같은 방문자는 늘 같은 그룹에 들어갑니다.
• 동시에 1개 실험만 진행할 수 있습니다. 실험 목록에서 ‘결과 보기’·‘종료’·‘삭제’.
• 결과 보기 — 그룹별 표본 수, 전환율, 해결률, 상담사 연결률, 긍정 감정, 평균 턴 수와 ‘🏆 우세’ 표시. 합계 30건 미만이면 우연일 수 있다는 안내가 나옵니다.

비즈니스 임팩트

• 기간 버튼 — 최근 7일, 이번 달, 전체.
• 핵심 지표 — 전체 대화, 실제 전환(예약·접수·신청 등 실제 업무 처리로 이어진 대화), 상담사 연결률, 중도 이탈률(AI 답 전에 끊긴 대화).
• 전환 유형 분포와 대화 이탈 지점(몇 번째 메시지에서 끊겼는지) 차트.
• 데이터가 없으면 ‘아직 분석 데이터가 없습니다’가 보입니다.

따라 해 보기

1. 1평가(Evals)에서 전체 시나리오 수와 최근 통과율을 확인합니다.
2. 2‘평가용 ERP 복제본에서 실행’ 체크가 꺼져 있는지 확인하고, 카테고리 하나(예: ERP 고객관리)를 고른 뒤 ‘샘플 실행’ 칸을 5로 바꿔 ‘샘플 실행’을 누릅니다.
3. 3완료 알림(답변 통과 수·도구 통과 수)을 보고, 평가 이력 맨 위 줄의 ‘상세’를 눌러 문항별 기대/실제를 확인합니다. ‘📄 성적서’도 열어 봅니다.
4. 4피드백 루프에서 기간을 7일·30일로 바꿔 카드 숫자가 바뀌는지 봅니다.
5. 5개선 대상 랭킹이 있으면 ‘→ 정답셋에 추가’를 눌러 채워진 내용을 보고, 질문 앞에 ‘[테스트]’를 붙여 저장하거나 ‘취소’합니다.
6. 6A/B 테스트는 실험 목록과 ‘결과 보기’만 확인합니다.
7. 7비즈니스 임팩트에서 기간 버튼 3개를 눌러 봅니다.

도움말 · ‘전체 실행’과 피드백 루프의 ‘평가 실행’은 시나리오 수만큼 AI를 불러 토큰 비용이 큽니다. 시험은 ‘샘플 실행’으로 하세요. A/B 실험을 시작하면 실제 사용자 대화가 두 그룹으로 나뉘어 서로 다른 설정으로 답을 받으니, 시험 목적이라면 시작하지 마세요.