Research

[AI 답변 오류 원인 구분·분석하는 기술 개발... ACL 2026 구두 발표 채택]

챗GPT에 같은 질문을 물어봐도 답이 조금씩 달라질 때가 있다. 정말 알고 답한 것일까, 잘 모르면서 그럴듯하게 말한 것일까? 국내 연구진이 AI의 '확신' 속에 숨겨진 불확실성 원인을 분석해, AI가 왜 틀렸는지 진단하는 방법을 개발했다.

 POSTECH 인공지능대학원 이남훈 교수, 통합과정 정진석 씨, 석사과정 송민경·정현지 씨 연구팀이 거대언어모델(LLM) 예측에 담긴 불확실성을 원인별로 분리해 측정하는 방법론을 개발했다. 이 연구는 7월 2일부터 7일까지 미국 샌디에이고에서 열리는 자연어처리 및 전산언어학 분야의 국제 학회인 ACL(Annual Meeting of the Association for Computational Linguistics) 2026에 구두 발표 논문으로 채택됐다.

 챗GPT 같은 거대언어모델(LLM)은 몇 개의 예시만으로 새로운 작업을 수행하는 '맥락 내 학습(In-Context Learning)¹⁾' 능력이 있다. 하지만 같은 질문에도 답변이 달라지거나 틀린 정보를 사실처럼 제시하는 경우가 있어, AI의 판단을 얼마나 신뢰할 수 있는지가 중요한 과제로 떠오르고 있다.

 AI의 불확실성은 두 가지 원인에서 비롯된다. 질문이나 데이터 자체가 모호해 하나는 누구라도 답하기 어려운 경우(우연적 불확실성)와 AI가 관련 지식이나 정보를 충분히 갖고 있지 못한 경우(인식적 불확실성)다. 이 둘은 해결 방법이 완전히 다르지만 기존 방법으로는 명확히 구분하기가 어려웠다.

 POSTECH 연구팀은 입력 문장이나 출력 결과를 반복적으로 바꿔가며 추정하던 기존 방식 대신, AI 모델 내부를 직접 분석하는 접근법을 개발했다. 이 방법의 핵심은 '셀프-함수 벡터(Self-Function Vector)²⁾'라는 개념으로 모델 내부 활성값을 활용해 AI가 예시를 통해 학습한 핵심 개념을 벡터 형태로 표현하는 기술이다. AI가 예시를 보고 머릿속에 형성한 '생각의 핵심 요약본'을 꺼내 보는 셈이다.

 연구팀은 이 벡터를 활용해 데이터의 모호함에서 비롯된 불확실성과 모델의 지식 부족에서 발생한 불확실성을 효과적으로 분리해 측정했다. 이 과정에서 AI 내부 작동 원리를 분석하는 '기계론적 해석가능성(Mechanistic Interpretability)' 연구와 베이지안 추론 이론을 결합해 새로운 분석 틀도 함께 제시했다.

 또한, 이 기술을 객관적으로 검증하는 평가 체계도 개발했다. 데이터 모호함과 모델의 지식 부족 정도를 각각 독립적으로 조절하는 방식으로 환경을 설계해 불확실성을 정량적으로 평가할 수 있도록 했다. 연구팀의 방법은 70억~700억 개 규모 모델에서도 일관된 성능을 보였다. 두  종류의 불확실성에 대해 서로 다른 반응 패턴을 보이며, 기존보다 명확하게 분류함을 정량적으로 입증하였다. 특히, 이 기술은 AI 환각³⁾ 탐지에서도 우수한 성능을 보이며, 신뢰할 수 있는 AI 개발에 활용될 가능성을 확인했다.

 이남훈 교수는 "AI 내부 작동 원리에 대한 이해와 불확실성 측정을 연결한 새로운 시도"라며 "AI가 왜 확신하지 못하는지를 설명할 수 있게 되면 더욱 안전하고 신뢰할 수 있는 AI 개발에 중요한 기반이 될 것"이라고 말했다.

 한편, 이번 연구는 과학기술정보통신부와 정보통신기획평가원 인공지능대학원 지원사업, '의사결정을 위한 비전·언어 인과추론 퓨샷 학습' 사업, '인간처럼 개념적으로 이해·추론하는 인공복합지능 개발' 사업, 정부(과학기술정보통신부)의 고성능컴퓨팅 지원 사업의 지원을 받아 수행됐다.

▶️ DOI: https://doi.org/10.48550/arXiv.2606.19353

1. 맥락 내 학습(In-Context Learning, ICL): 거대언어모델이 별도 추가 학습 없이, 프롬프트에 주어진 소수의 예시만으로 새로운 작업을 수행하는 능력이다.

2. 셀프-함수 벡터(Self-Function Vector): 모델 내부 특정 어텐션 헤드(attention head) 활성값에 압축적으로 담긴 작업 표현한다. 연구팀은 이를 변형해 개별 프롬프트의 잠재 개념을 직접 반영하는 '셀프-함수 벡터'를 새롭게 제안했다.

3. 환각(Hallucination): 거대언어모델이 사실이 아닌 내용을 그럴듯하게 생성하는 현상이다.