SK텔레콤

SK텔레콤은 5G 요금제, T멤버십, 공시지원금 등 국내 통신 전문 용어와 AI 윤리가치 등 통신사 내부 지침을 학습한 ‘텔코 LLM’을 개발 중이라고 30일 밝혔다. 오는 6월 중 개발을 완료할 예정이다.

‘텔코 LLM’은 GPT, 클로드와 같은 범용 LLM과 달리, 통신업에 특화된 LLM을 뜻한다.

SK텔레콤은 오픈AI, 앤트로픽 등과 협력을 통해 통신사 서비스나 상품, 멤버십 혜택, 고객 상담 패턴 등 방대한 양의 데이터를 수집, 정형·비정형 데이터를 선별해 이를 에이닷엑스, GPT, 클로드에 학습시킴으로써 통신에 특화된 LLM을 만들고 있다.

통신사들이 AI컨택센터(AICC), 유통망, 네트워크 운용, 사내 업무 등 활용처와 특정 업무마다 최적화된 LLM을 가져다 쓸 수 있게 하는 ‘멀티(다중) LLM’ 전략이다.

SK텔레콤은 협력을 통해 자사 LLM인 에이닷엑스(A.X)와 오픈AI의 GPT-4, 앤트로픽의 클로드에 한국어로 된 통신 관련 데이터를 학습시켜 다양한 텔코 LLM을 개발 중이다.

범용 LLM 대비 텔코 LLM은 통신 영역에서 높은 수준의 생성형 AI 작업을 수행할 수 있어 활용성이 높다.

SK텔레콤은 텔코 LLM을 구축하기 위해 텔코 데이터를 수집하고 비정형·정형 데이터를 선별·정제한다. 이를 기반으로 범용 LLM을 통신사 전용으로 파인튜닝(미세조정)하는 과정을 거치고, 휴먼 피드백 기반의 강화 학습(RLHF)을 한 후 최종 벤치마킹(모델 평가)하는 사이클을 거친다.

범용 LLM은 통신사의 번호이동 방법이나 절차 등 전문지식을 제대로 학습하지 않아 요금제 추천 같은 고객 요구에 제대로 대응하기 어렵다. 통신 관련 데이터를 추가로 학습해 이 문제를 해결하는 과정이 텔코 LLM의 파인튜닝이다.

파인튜닝이 된 텔코 LLM은 휴먼 피드백 기반의 강화학습(RLHF) 과정을 거친다. 마지막으로 텔코 LM의 언어 능력, 추론 능력, 통신 특화과제 수행 능력 등에 대해 모델평가를 한다.

SK텔레콤에 따르면 현재 고객센터에서 상담 전화 1건을 처리하는데 고객 상담에 약 3분, 상담 후 업무 처리하는데 30초 이상이 소요된다. 텔코 LLM을 도입하면 상담사가 고객과 전화하는 동안 LLM이 해결책을 상담사에게 제공하고 상담 내용을 요약해주는 등 상담 후 처리까지 소요되는 시간을 크게 단축할 수 있다.

또 텔코 LLM 중 통신 관련 데이터를 입힌 클로드 버전의 경우 AI가 따라야 할 윤리원칙을 철저하게 학습하고 있고 우리나라에서 빠르게 생겨나고 있는 신조어나 한국어 욕설, 위협 폭언 식의 문맥 뉘앙스를 정확하게 파악할 수 있다.

통신사의 네트워크 인프라 운용에도 텔코LLM이 유용하다는 설명이다. 인프라 운용자가 네트워크 모니터링 중 문제가 발생하면, 실시간으로 텔코 LLM에 질문을 입력해 해결 방안을 답변으로 받아볼 수 있다.

텔코 LLM이 장비 매뉴얼, 대응 사례 등의 정보를 기반으로 상황에 맞는 답변을 빠르게 제공하기 때문에 사람이 직접 정보를 찾는 것보다 대응 시간을 단축시킬 수 있다.

SK텔레콤은 향후 인프라 운용 중에 발생되는 데이터 분석과 축적된 데이터 기반의 정보 조회 등에도 텔코 LLM을 확대 적용할 계획이다.

한편 SK텔레콤은 통신사들이 생성형 AI 애플리케이션을 효율적으로 구축, 개발할 수 있는 ‘인텔리전스 플랫폼’도 공개했다. 멀티 LLM부터 멀티모달, 오케스트레이션, 검색증강생성(RAG) 등까지 아우르는 일종의 ‘기업용 AI 개발·운용 패키지’다.

SK텔레콤은 멀티 LLM을 쉽고 효율적으로 사용할 수 있는 인텔리전스 플랫폼을 에이닷 등의 서비스에 적용 중이며, 적용 사례를 지속 확대할 계획이다.

©(주) EBN 무단전재 및 재배포 금지