2023년 IT 분야의 가장 큰 화두로는 ChatGPT가 대표한 생성형 AI를 꼽을 수 있습니다. 챗 GPT 가 공식 발표된 지 어느덧 1년이 지났는데요, 제니퍼소프트에서도 생성형 AI와 APM의 접점을 고민하면서 챗봇을 개발해 왔습니다. 이번 글에서는 제니퍼에 챗봇을 개발하면서 느끼게 된, 생성형 AI가 APM에 주는 시사점을 정리해 보려고 합니다.
APM 시장에서도 발 빠른 혁신 경쟁이 시작되었습니다.
APM 시장에서도 OpenAI가 제공하는 API를 모니터링하여 비용과 활용에 대한 모니터링 데이터를 제공하거나, 거대 언어 모델(LLM)을 통해 데이터를 해석하는 등의 초기 버전이 나오기 시작했습니다. 아직 초기라 완성도가 부족하지만, LLM의 발전과 함께 기능의 완성도 또한 점점 올라갈 수 있으리라 생각합니다.
제니퍼도 챗봇을 통해 생성형 AI의 가능성을 실험 중입니다.
제니퍼는 고객과 엔지니어를 위해 다양한 문서를 제공하고 있습니다. 문서가 잘 구비되어 있으면 당연히 사용자 가치가 높아질 텐데요. 자랑을 좀 하자면, 제니퍼가 제공하는 문서들은 글로벌 사용자 목표로 해서 작성이 되었기 때문에 퀄리티와 양이 꽤나 방대합니다. 하지만 막상 문서의 내용이 너무 많다 보니 오히려 찾는데 어려움을 호소하는 경우도 있고, 일일이 목차를 확인하며 문서를 찾아야 하는 번거로움 때문에 문서 찾기를 포기하는 경우도 있었습니다.
그런데 만약 생성형 AI가 일목요연하게 정리된 답을 준다면 이 문제를 해결할 수도 있지 않을까 하는 의문에서 제니퍼 챗봇을 시험 개발하게 되었습니다.
제니퍼 챗봇은 현재 단계적인 릴리즈를 진행하고 있습니다. ChatGPT를 사용해 본 경험이 있다면 아시겠지만, 모든 질문에 정확히 대답하는 것은 아닙니다. 그래서 답변의 정확도를 높이기 위한 파인 튜닝 작업이 한창입니다.
별도의 웹 페이지로 개발된 챗봇 현재 버전의 첫 화면입니다. 샘플 질문을 선택하거나 참고해서 새로운 질문을 입력할 수 있습니다.
온라인 서비스로 챗봇을 제공합니다.
제니퍼는 설치형 소프트웨어(온-프레미스)로 제공되지만, 제니퍼 챗봇은 온라인 서비스로 제공합니다. 이유는 다음과 같습니다.
- 거대 언어 모델(LLM)을 설치형으로 제공하기 위해서는 고객 환경에 학습을 위한 서버가 추가로 도입되어야 하는 부담이 있습니다.
- 챗봇의 경우 지속적인 업데이트를 통해 챗봇 콘텐츠 및 기능 업데이트가 필수적입니다.
- 챗봇은 모바일 환경에서도 쉽게 접근할 수 있으므로 고객 업무 환경에서 활용할 수 있습니다.
제니퍼 챗봇, 우선 기본적인 기능을 살펴볼까요?
챗봇에서 가장 우선적인 기능은 주어진 질문에 답변하는 것입니다. 당연히 제니퍼 챗봇도 질문에 대해 답변을 제공합니다. 여기서 특징이라면, 답변을 생성할 때 근거가 되는 연관 도움말의 링크도 함께 제공한다는 점입니다. 근거 문서를 보면 챗봇의 대답이 적절한지 판단할 수 있기 때문에, 답변이 충분하지 않다고 생각하면 링크를 선택하여 내용을 직접 확인할 수 있습니다.
챗봇에 질문, 답변 예시입니다. 1) 사용자가 입력한 질문을 표시합니다. 2) AI 가 도움말을 요약하여 답변을 생성합니다. 3) 답변을 생성할 때 참조한 도움말 링크를 제공해서 출처를 확인할 수 있습니다. 4) 답변에서 추가로 궁금한 사항이 생겼다면 다시 질문할 수 있습니다.
특징이요? 제품 숙련도를 고려해서 다국어로 대답하는 챗봇입니다.
제니퍼 챗봇은 제품 숙련도가 높은 엔지니어와 제니퍼를 처음 사용하는 최종 사용자까지 고려해야 했습니다. 게다가 한국어뿐만 아니라 영어, 일본어 질문과 답변도 지원해야 했기에, 챗봇 시스템에 별도의 로그인 기능을 추가했습니다.
1) 로그인을 하면 질문, 답변 기록을 확인할 수 있습니다. 2) 사용자에 따라 더 전문적인 문서를 기반으로 답변을 생성하고, 3) 언어 설정을 통해 어떤 언어로 대답을 할지 설정할 수 있습니다.
제니퍼 챗봇은 단계적인 릴리즈를 진행하면서, 엔지니어에게 우선 로그인 계정을 발급하였습니다. 엔지니어들은 제품 숙련도가 높다 보니 모든 문서를 대상으로 고급 설정들도 거침없이 안내하고 있습니다. 그러다 보니 틀린 대답이 나오기도 하지만, 피드백을 통해서 개선하고 있으니 엔지니어의 적극적인 피드백을 부탁드립니다.
생성형 AI와의 동행.. 앞으로는 어떻게 될까요?
챗봇의 응답을 내부적으로 검토해 보니 틀린 응답을 하는 경우도 있습니다. 그래도 사용자 가치가 있다고 생각합니다. 큰 노력을 기울여서 만든 방대한 문서를 비교적 정확히 이해하고 다국어로 24시간 언제나 사용자에게 도움을 줄 수 있는 현실 멤버는 만나기 어렵기 때문입니다. 또한, 아래와 같은 한계점도 분명하기에 APM 기능 전반적으로 생성형 AI를 완벽하게 적용하는 것은 아직 좀 더 검토가 필요하리라 생각합니다.
- 틀린 대답을 100% 방지하기 어렵습니다. 따라서 100% 신뢰가 필요한 작업에는 어울리지 않습니다. 도움말 챗봇의 경우에도 중요한 질문이라면 생성형 AI의 응답을 한 번은 의심해 보고 출처의 내용을 다시 확인해야 합니다.
- 온-프레미스 기업 환경에서 고객사에 새로운 AI 서버 도입이 필요합니다. 따라서 생성형 AI 가 주는 가치가 서버 도입 비용보다 더 크다는 공감대가 쌓여야 하고, 필요에 따라 별도의 옵션으로 제공하는 방안을 강구해야 합니다.
제니퍼도 새로운 기술과의 즐거운 만남을 준비하고 있습니다.
제니퍼는 애플리케이션 모니터링(APM)의 본질에 대해 오랜 시간 깊이 고민해 왔으며, 동시에 사용자가 더 쉽고 멋지게 모니터링하는 가치를 중요하게 생각합니다. 생성형 AI를 통해 이를 달성할 수 있다면 당연히 도입해야 하는 기술이고, 자체 거대 언어 모델, 멀티 모달 인터페이스를 가정한 사용자 시나리오도 배제하지 않고 있습니다. 특히, 제니퍼의 강점인 실시간성과 연결하여 고객의 문제 해결에 집중한다면 더욱 본질에 가까운 가치를 전달할 수 있다고 생각합니다.
더 나은 모니터링 경험을 개선하기 위해 노력 중인 제니퍼에 지속적인 관심과 응원 부탁드립니다.
https://jennifersoft.com/ko/blog/2024-01-08-jenniferchatbot-ai/