14. AI 에이전트 콘솔

사용량·대화 기록

메뉴 위치 · AI 에이전트 콘솔 › 분석·품질 › 사용량·KPI · 사용자 기억 · 대화 로그 (+ 시스템 › 로그 대시보드)

누가 얼마나 AI를 썼는지(토큰·비용), AI가 기억한 개인 정보, 실제 대화 내용, 관리 작업·로그인 추이를 봅니다.

이 화면에서 하는 일

  • 사용량·KPI — 사용자·부서·역할·모델별 토큰과 추정 비용(슈퍼관리자).
  • 사용자 기억 — 사용자별로 AI가 기억한 내용을 보고 개별 삭제(슈퍼관리자).
  • 대화 로그 — AI 대화와 직원 채팅을 검색·내보내기(슈퍼관리자·사이트 관리자).
  • 로그 대시보드 — 시스템 묶음에 있으며, 감사 작업·로그인 추이와 직원 채팅 현황(슈퍼관리자).

사용량·KPI

사용량 · KPI — 총 토큰·입력·출력·추정 비용, 요청 수·활성 사용자, 일별 토큰 추이, 사용자별 탭
사용량 · KPI — 총 토큰·입력·출력·추정 비용, 요청 수·활성 사용자, 일별 토큰 추이, 사용자별 탭
  • 오른쪽 위 7일·30일·90일 또는 날짜 두 칸으로 기간을 정합니다(✕로 기간 지정 해제).
  • 카드 — 총 토큰, 입력 토큰, 출력 토큰, 추정 비용(모델 단가 기준), 요청 수, 활성 사용자, 평균 일일 토큰, 요청당 평균 토큰.
  • 일별 토큰 추이 — 입력/출력 토큰(막대)과 추정 비용(선).
  • 탭 — 사용자별(‘CSV 내보내기’, 사용자 이름을 누르면 날짜별 상세), 부서 / 역할, 제공자 / 모델, LiteLLM 상세(모델별·가상키별·사용자별·태그별).
  • 한도(쿼터·가상키)와 단가 설정은 ‘게이트웨이’ 메뉴에서 합니다.

사용자 기억

사용자 기억(개인화) — 왼쪽 기억 보유 사용자, 오른쪽 선택한 사용자의 기억
사용자 기억(개인화) — 왼쪽 기억 보유 사용자, 오른쪽 선택한 사용자의 기억
  • 사용자가 ‘기억해줘’라고 하거나, 설정에서 자동 학습을 켜 두면 대화에서 뽑아낸 장기 기억이 쌓입니다. 다음 대화에 반영되어 답이 개인화됩니다.
  • 왼쪽에서 사용자를 누르면 오른쪽에 기억 목록이 나옵니다. 각 기억에 ‘명시 요청’/‘자동 학습’ 표시가 있습니다.
  • ‘삭제’는 개인정보 정정·삭제 요청에 대응할 때 씁니다.

대화 로그

대화 로그 — AI 대화/직원 채팅 전환, 검색 & 필터, 세션 목록과 메시지 상세
대화 로그 — AI 대화/직원 채팅 전환, 검색 & 필터, 세션 목록과 메시지 상세
  • 위쪽 ‘🤖 AI 대화’/‘💬 직원 채팅’으로 보기를 바꿉니다.
  • 검색 & 필터 — 키워드, 시작일·종료일, 감정(긍정·중립·부정), 역할. ‘🔍 검색’, ‘초기화’, 내보내기 ‘CSV’·‘Excel’·‘PDF 리포트’.
  • 세션 목록 — 계정·세션 ID·첫 메시지·메시지 수·날짜. ‘계정·세션·제목’으로 찾고, 누르면 오른쪽에 대화가 나옵니다.
  • 메시지 상세 위의 ‘처리 과정 보기’로 AI가 어떤 도구를 불렀는지 확인합니다. ‘삭제’는 대화와 처리 기록을 영구 삭제합니다(사용량 통계는 유지).
  • 직원 채팅 — 채팅방 목록(‘참여자·방 이름 검색’)과 방 안 메시지. @에이전트 답은 ‘🤖 AI 에이전트’로 표시됩니다.

로그 대시보드

로그 대시보드 — 감사 작업·로그인 성공·실패·차단·활성 세션, 일별 감사 작업·로그인 추이
로그 대시보드 — 감사 작업·로그인 성공·실패·차단·활성 세션, 일별 감사 작업·로그인 추이
  • 7일·30일·90일로 기간을 고릅니다.
  • 카드 — 감사 작업, 로그인 성공, 로그인 실패, 로그인 차단, 활성 세션.
  • 일별 감사 작업 추이(생성·수정·삭제)와 일별 로그인 추이(성공 선, 실패·차단 막대).
  • 직원 채팅 — 사람 vs AI(채팅방·전체 메시지·사람 메시지·AI(@에이전트)·활성 방(7일)), 상위 작업자, 상위 변경 대상.

따라 해 보기

  1. 1사용량·KPI에서 7일 → 30일로 바꿔 카드 숫자가 달라지는지 봅니다.
  2. 2사용자별 탭에서 사용자 이름 하나를 눌러 날짜별 상세 창을 열고 ‘닫기’를 누릅니다.
  3. 3‘CSV 내보내기’를 눌러 파일이 받아지는지 확인합니다.
  4. 4사용자 기억에서 사용자 하나를 눌러 기억 목록과 ‘명시 요청’/‘자동 학습’ 표시를 확인합니다(삭제는 하지 않기).
  5. 5대화 로그에서 키워드 칸에 ‘매출’을 넣고 ‘🔍 검색’을 눌러 검색 결과 건수를 확인한 뒤 ‘결과 닫기’를 누릅니다.
  6. 6세션 하나를 눌러 대화를 보고 ‘처리 과정 보기’로 호출된 도구를 확인합니다.
  7. 7‘💬 직원 채팅’으로 바꿔 채팅방 하나를 열어 봅니다.
  8. 8로그 대시보드에서 기간을 바꿔 차트가 바뀌는지 봅니다.

도움말 · 대화 로그의 ‘삭제’와 사용자 기억의 ‘삭제’는 되돌릴 수 없습니다. 개인정보 삭제 요청처럼 꼭 필요할 때만 쓰고, 시험 중에는 누르지 마세요. 오래된 대화 로그는 ‘설정’의 보관기간에 따라 매일 자동 삭제됩니다.

확인할 점

0 / 5