AI를 운영 단계로 가져갈 때 부딪히는 세 가지 벽
파일럿은 되지만, 운영으로 이어지기 어렵습니다
챗봇 하나를 만드는 것은 어렵지 않습니다. 하지만 사용자와 부서가 늘어나면 권한 · 사용 한도 · 실행 기록까지 관리해야 합니다. 운영 체계가 없으면 파일럿 단계에서 확장하기 어렵습니다.
사내 데이터와 연결하는 순간 통제가 필요합니다
문서와 데이터베이스를 연결하면 더 정확하고 유용한 답변을 만들 수 있습니다. 동시에 누가 어떤 데이터에 접근했는지, 개인정보가 외부 모델로 전달되지는 않았는지 확인하고 통제할 수 있어야 합니다.
답이 틀렸을 때 원인을 찾아야 합니다
검색이 문제였는지, SQL이 문제였는지, 모델이 문제였는지 알 수 없다면 개선하기 어렵습니다. 실행 과정을 추적하고 각 단계의 품질을 확인할 수 있어야 합니다.
AI 운영을 위한 네 가지 핵심 축
에이전트
사내 데이터와 도구를 활용해 업무를 수행하고, 중요한 작업은 승인 절차를 거칩니다.
대표 기능 에이전트 · 플로우 · 문서 생성 · MCP/OpenAPI 도구 · 예약 실행 에이전트 자세히 보기 →데이터
사내 문서와 데이터베이스를 근거로 답변합니다.
대표 기능 지식베이스 · 데이터 분석(자연어 → SQL) · 용어집 · 지식그래프 데이터 자세히 보기 →평가 · 관측
답변이 만들어지는 전 과정을 추적하고, 품질을 수치로 확인합니다.
대표 기능 트레이스 · 자동 품질 평가 · Arena · 사용량과 비용 추정 평가 · 관측 자세히 보기 →거버넌스
AI 사용을 막지 않고, 조직의 정책과 권한 안에서 통제합니다.
대표 기능 가드레일 · 감사 로그 · 3계층 권한 · 토큰 한도 · 코드 게이트웨이 거버넌스 자세히 보기 →질문 하나가 지나가는 길
- 1 사용자가 묻습니다
웹 채팅 · Microsoft Teams · 사내 시스템에 연결된 임베드 위젯 등 어디서든 질문할 수 있습니다.
- 2 가드레일이 먼저 확인합니다
주민등록번호 · 계좌번호와 같은 개인정보와 금지 단어를 탐지하고, 정책에 따라 차단 · 삭제 · 마스킹합니다.
- 3 에이전트가 필요한 자원을 선택합니다
지식베이스 검색 · DB 조회(SQL) · 용어집 · 외부 도구를 질문에 맞게 조합합니다. 데이터를 변경하는 작업은 실행 전에 사용자 승인을 거칩니다.
- 4 고객 계정의 LLM이 답변을 생성합니다
조직이 승인한 모델만 사용할 수 있으며, 사용자 · 그룹 · 조직별로 설정된 토큰 한도 안에서 호출됩니다.
- 5 전체 과정이 기록됩니다
호출 순서 · 소요 시간 · 토큰 사용량은 트레이스로 남고, 설정 변경은 감사 로그에 기록됩니다. 자동 평가가 활성화된 에이전트는 답변 품질도 점수로 축적됩니다.
고객 환경에 설치하고, 필요한 기능은 티어로 선택합니다
고객 클라우드(Azure · Google Cloud · AWS) · 폐쇄망. → 보안 · 배포
LLM은 고객 계정으로 직접 호출합니다. 플랫폼이 LLM 사용료에 별도의 재판매 마진을 더하지 않습니다.
Basic · Standard · Professional · Enterprise 4개 티어로 제공됩니다. 감사 로그와 가드레일은 Standard부터, 데이터 분석 · 플로우 · 트레이스 · 자동 평가는 Professional부터 제공됩니다. 코드 게이트웨이 · 전역 가드레일 · KMS 기반 암호화 · 지식그래프는 Enterprise에 포함됩니다. → 요금 · 라이선스
월 1회 정기 릴리스. → 업데이트 내역
