News center

인공지능과 물리학

글. 포스텍 컴퓨터공학과 조민수 교수

2024년 노벨과학상 수상자가 발표됐을 때, ‘올해의 승자는 인공지능’이라는 말이 회자되었습니다. 노벨화학상을 수상한 알파폴드 팀뿐만 아니라, 노벨물리학상 수상자인 존 홉필드 교수와 제프리 힌튼 교수도 ‘인공지능 신경망의 발전에 기여한 공로’로 노벨상을 받았기 때문입니다. 현대 인공지능의 핵심기술로 널리 활용되고 있는 인공신경망이라는 개념은 생물물리학과 통계물리학을 아우르는 연구의 결과로 만들어졌습니다. 신경망 학습의 기초는 통계물리학에, 그 구조는 생물물리학에 바탕을 두고 만들어졌죠. 따라서, 올해 노벨물리학상은 현대 기술 혁신의 최전선에 있는 인공지능 연구에 기여한 이러한 물리학적 방법론의 성취를 강조하고자 한 것입니다. 지금부터 인공지능과 물리학이라는 주제로 이 부분을 살펴보고자 합니다.

인공지능 연구, 

그 시작과 인공신경망

최초의 전자식 컴퓨터가 개발된 1940년대, 전자식 컴퓨터가 개발된 것은 군사적, 과학적 목적에 의해 번거로운 계산을 빠르게 수행하기 위해서였습니다. 그리고 컴퓨터과학 및 컴퓨터공학 연구 분과가 태동하기 시작한 1950년대에는 컴퓨터를 더 ‘지능’적인 문제에 적용하려는 연구, 즉 인간이 수행하는 지능적 추론과 패턴 인식을 모사하려는 연구가 진행되는데, 이것이 인공지능 연구의 시작이라고 할 수 있습니다. 당시 수학자와 컴퓨터공학자들에 의해 처음 시도되었던 논리적 규칙 기반의 인공지능 접근법은 1980년대까지 이어지지만, 영상이나 자연어와 같이 논리만으로는 다루기 어려운 다양한 패턴의 정보들을 인식하는 데 어려움을 겪으면서 한계에 부딪칩니다. 하지만, 또 다른 한편에서는 생물학적 시스템이 패턴 인식 문제를 어떻게 해결하는지 알아내기 위한 연구가 진행되고 있었습니다. 이미 1943년에 뇌의 뉴런이 협력하는 방식을 설명하는 모델이 제안되었습니다. 이 연구는 생물학적 인공신경망 연구의 출발점이 되었고, 1957년에 이미지 해석을 위한 ‘전 방향 네트워크’를 컴퓨터 하드웨어로 구현하면서 첫 인공신경망의 시대를 열었습니다. 하지만 1960년대 말, 이러한 인공신경망이 비선형 문제를 해결하는 데는 한계가 있다는 비판이 대두되면서 인공신경망 연구에 대한 자금 지원이 사라지는 인공지능의 겨울을 맞이하게 됩니다.

그림 1. 올해 노벨물리학상 수상자인 존 홉필드와 제프리 힌튼 교수를 발표하는 노벨상 위원회

ⓒ BBC | 2024.10.09

기억할 수 있는 홉필드 네트워크, 

존 홉필드의 기여

1980년대에는 순환 신경망과 다층 신경망 분야에서 주요한 혁신이 이루어지면서, 인공신경망 분야가 다시 부흥기를 맞게 됩니다. 이 시기의 중요한 인물 중 한 명이 바로 이론물리학자였던 존 홉필드 교수입니다. 홉필드 교수는 1970년대에 ‘생체 분자 간의 전자이동과 생화학 반응의 오류 수정’을 연구해 생물물리학 분야에서도 중요한 업적을 남기고 1982년에는 순환 신경망을 기반으로 연합 기억을 위한 동적 모델, 즉 ‘홉필드 네트워크’를 발표합니다. 이 개념을 쉽게 이해하기 위해 일상에서 우리가 종종 겪는 경험을 한번 떠올려 봅시다. 우리는 가끔 특정 단어가 생각나지 않아서 난감할 때면, 비슷한 단어를 떠올리고 지우기를 반복하면서 정답이 되는 단어를 찾아냅니다. 회상을 반복하는 과정에서 불완전한 입력 패턴과 가장 잘 일치하는, 가장 유사한 최상의 저장된 패턴을 복구하는 것이죠. 신경망 네트워크에서 각각의 노드는 마치 이미지의 픽셀처럼 생각할 수 있는데, 홉필드는 바로 여기에 물리학에서 원자가 작은 자석처럼 행동하는 ‘스핀’이라는 개념을 적용했습니다. 만약 이 네트워크에 흐릿하거나 불완전한 이미지가 입력되면 네트워크는 노드 값을 하나씩 업데이트하면서 전체 에너지를 점차 낮추는 방식으로 작동하는데, 이렇게 네트워크는 단계별로 에너지를 최소화하여, 입력된 불완전한 이미지와 가장 유사한 저장된 이미지를 찾아냅니다. 홉필드는 신경망으로 이러한 지형을 표현할 수 있도록 하는 학습 방법을 제시하고, 이 신경망 모델을 연합 기억, 오류 수정, 또는 패턴 완성 등에 적용할 수 있다는 것을 보여주었습니다. 이처럼 홉필드 교수는 물리학적 개념을 탁월하게 적용한 에너지 기반의 동적 네트워크 모델을 개발하고 탐구함으로써 신경망의 계산 능력에 대한 이해를 심화하는 데 크게 기여했습니다. 

다층 신경망을 학습할 수 있는 기계, 

제프리 힌튼의 기여

제프리 힌튼 교수는 1983년과 1985년 사이에 신경생물학자인 테런스 세이노스키를 비롯한 다른 연구자들과 함께 홉필드 교수의 1982년 모델을 확장해 ‘볼츠만 기계’라는 확률론적 모델을 만들어냈습니다. 이 모델은 19세기 물리학자 루트비히 볼츠만이 개척한 통계물리학의 에너지 역학에서 영감받아 만들어진 모델입니다. 이 볼츠만 모델은 네트워크의 각 상태마다 ‘볼츠만 분포’에 의해 확률을 부여하는 것으로 시작하는데, 이를 통해 ‘볼츠만 기계’는 단지 기억 모델이 아니라 생성 모델로 기능할 수 있게 됩니다. 즉, 홉필드 교수가 제안한 모델과 달리 개별 패턴이 아니라 패턴들의 통계적 분포에 맞추는 것이죠. 볼츠만 기계의 에너지를 정의하는 가중치 매개변수는 모델이 생성한 가시 패턴의 통계적 분포가 주어진 학습 데이터의 통계적 분포와 최소한으로 차이가 나도록 하는 학습을 통해 결정됩니다. 힌튼 교수와 그의 동료들은 이러한 매개변수를 결정하기 위해 기울기 기반 학습 알고리즘을 연구하고 대중화시키기도 했죠. 지금은 크고 복잡한 신경망을 학습하고 학습된 정보를 다른 신경망 구조로 전달하는 데 널리 사용되고 있는 이 사전 훈련 방식의 원형이 이때 개발된 것입니다. 이렇게 사전 훈련된 계층들을 연결함으로써 힌튼 교수는 오늘날 ‘딥러닝’으로 알려진 기술의 중요한 전환점이 된 ‘깊고 밀집된 네트워크’의 구현에 성공하고, 2012년 현대적인 심층인공신경망의 부활을 알린 ‘알렉스넷(AlexNet)’을 탄생시킬 수 있었습니다.

그림 2. 2012년 현대적인 심층인공신경망의 부활을 알린 알렉스넷(AlexNet)을 개발했던 구글브레인 팀.

오른쪽부터 제프리 힌튼, 알렉스 크리제프스키, 그리고 일리아 스츠케버

ⓒ 토론토대

과학적 모델링의 기반, 

컴퓨터와 인공지능

홉필드 교수와 힌튼 교수의 연구에서 알 수 있듯이 물리학은 인공신경망의 발명과 발전에 큰 동력 중 하나였습니다. 그리고, 이제는 반대로 컴퓨터공학과 인공지능이 물리학 전반에서 모델링과 분석을 위한 강력한 도구로 중요한 역할을 하고 있습니다. 무엇보다 많은 과학 분야에서 인공신경망은 특정 물리 모델을 ‘모사’하는 시뮬레이터로 활용됩니다. 이를 통해 양자역학 다체문제1와 같은 분야에서 필요한 계산 자원을 크게 줄이고 더 큰 시스템을 더 높은 해상도로 분석하는 데 기여하고 있으며, 천체물리학과 천문학에서도 인공신경망은 표준 데이터 분석 도구로 자리 잡았습니다. 알파폴드를 통한 단백질 3차원 구조 예측 또한 딥러닝 기반 인공신경망을 활용한 빼놓을 수 없는 혁신적인 과학적 성과입니다. 이러한 기술의 일상생활 속 응용은 더욱 방대합니다. 오늘날 인공신경망에 기반한 인공지능 기술은 영상 인식, 언어 생성 등 우리가 컴퓨터로 수행하는 거의 모든 작업의 기반에 자리 잡고 있고, 헬스케어와 다양한 서비스 분야에서도 의사 결정을 지원하는 필수적인 기술이 되었습니다. 나아가 인공지능은 이제 로봇 기술과 결합해 더 많은 영역에서 우리 사회와 개개인의 삶을 더 크게 바꿀 것입니다.

[각주]

1. 상호 작용하는 많은 입자로 구성된 미시적 시스템의 속성을 다루는 광범위한 물리 문제