[AI 이야기] 인공지능의 결정적 인물들 (8)딥러닝의 대부, 제프리 힌튼

2021-12-17

시리즈의 여덟번째 순서로 한때 꺼져가던 인공지능을 되살리고, 지금의 딥러닝을 가능하게 한 제프리 힌튼에 관해 알아봅니다. 혹시 아직 시리즈의 지난 컨텐츠를 확인하지 않았다면 먼저 읽어 보시는 것을 추천합니다.

‍[AI 이야기] 인공지능의 결정적 인물들 (1)앨런 튜링

[AI 이야기] 인공지능의 결정적 인물들 (2)딥러닝의 시초, 월터 피츠

[AI 이야기] 인공지능의 결정적 인물들 (3)인공지능의 시조, 존 매카시

[AI 이야기] 인공지능의 결정적 인물들 (4)딥러닝의 선구자, 로젠블랫

[AI 이야기] 인공지능의 결정적 인물들 (5)환상의 콤비, 사이먼과 뉴얼

[AI 이야기] 인공지능의 결정적 인물들 (6)인간은 생각하는 기계, 마빈 민스키

[AI 이야기] 인공지능의 결정적 인물들 (7)특이점이 온다, 레이 커즈와일

‍

1969년 기호주의 인공지능을 대표하는 마빈 민스키*는 로젠블랫**의 ‘퍼셉트론’이 가진 문제점***을 비판한 <퍼센트론즈>를 출간합니다. 이후 인공신경망과 인공지능 연구는 길고 혹독했던 첫 번째 겨울을 맞이하게 됩니다.**** 그렇게 꺼져가던 인공지능 연구의 불꽃을 되살리고, 지금의 딥러닝을 있게 한 주인공이 바로 제프린 힌튼(Geoffrey EverestHinton, 1947 ~ )입니다.

‍

학자 집안의 될성부른 떡잎

‍

어린 시절의 제프린 힌튼, 출처

‍

현재 제프리 힌튼은 캐나다에 있지만, 원래는 영국의 윔블던에서 태어났습니다. 유명한 학자 집안 출신으로 흔히 말하는 엄친아였죠. 국민총생산(GNP)의 사용을 개척한 콜린 클라크, 부울대수를 만든 기호논리학의 창시자 조지 부울, 의사이자 작가였던 제임스 힌튼, 에베레스트 산의 유래가 된 조지 에버리스트 같은 대단한 사람들이 그의 선조들입니다.*****

힌튼은 고교시절 쥐의 뇌 연구가 재미있다는 친구의 말을 듣고 뇌에 흥미를 갖게 됩니다. 이후 킹스칼리지에 진학해 생리학과 물리학을 전공했고, 다시 철학과 심리학으로 석사학위를 받았죠. 이어서 본격적으로 뇌의 작동원리를 연구하기 위해 에딘버러 대학의 (인지과학을 창시한) 히긴스 교수를 찾아가 인공신경망으로 박사학위를 받게 됩니다.******

그러고는 당시 신경망 연구가 활발하지 못했던 영국을 떠나 좀 더 자유로운 환경에서 연구활동을 계속하기 위해 미국으로 향하게 됩니다.

‍

본격적인 신경망 연구의 시작

‍

데이비드 럼멜하트와 존 홉필드, 출처

‍

미국에서 연구하게 되면서 힌튼은 존 홉필드, 데이비드 럼멜하트 같은 대가들과 만나게 됩니다. 럼멜하트는 인지과학의 대가이고, 홉필드는 홉필드 네트워크로 신경망 연구의 새로운 지평을 연 인물이죠. 이런 대가들과의 만남이 힌튼의 신경망 연구에 날개를 달아줍니다.

‍

그래픽적으로 표현한 볼츠만 머신, 출처

‍

1984년 힌튼은 홉필드의 제자인 테리 세이노프스키와 함께 볼츠만 머신을 제안합니다. 기존 홉필드 네트워크에 신경망 알고리즘을 결합해 개선한 것으로 대규모 병렬처리를 이용하는 강력한 계산장치입니다. 볼츠만 머신은 확률적으로 순환하는 신경망 네트워크로 내부 구조에 의한 학습이 가능하고, 여러가지 조합된 문제들을 해결할 수 있습니다.*******

‍

오류 역전파 알고리즘 개념도, 출처

‍

1986년에는 럼멜하트의 오류 역전파 알고리즘(BackPropagation Algorithm) 논문에 참여합니다. 신경망과 인공지능 연구의 긴 겨울을 끝낸 기념비적인 논문이죠. 역전파 알고지름과 다층 퍼셉트론이 XOR 문제를 해결할 수 없던 기존 퍼셉트론의 문제에 대한 해결책이 됩니다.********

‍

신경망의 부활과 딥러닝의 등장

‍

기울기 소실 개념도, 출처

‍

1990년대 인공신경망 연구는 기울기 소실 문제 등 한계에 부딪히며 어려운 시기를 보내야 했습니다.**** 연구에 대한 지원과 투자가 끊기고, 수 많은 연구자들이 떠나간 인공지능의 두 번째 겨울이 왔죠. 하지만 힌튼은 포기하지 않고 계속해서 신경망 연구를 진행합니다.

‍

RBM(Restricted Boltzmann Manchine) 비지도 학습법과 RBM을 쌓아 올린 DBN(Deep BeliefNetwork, 출처

‍

힘든 시기를 견디며 연구를 지속한 힌튼은 2006년 ‘A fast learning algorithm for deep belief nets’라는 논문을 발표합니다. 이 논문은 심층 신뢰 신경망(Deep BeliefNetwork, DBN)이란 새로운 알고리즘으로 기존 신경망의 한계를 극복하고, 본격적인 딥러닝의 시대를 열었죠. DBN은 제한 볼츠만 머신을 여러층으로 쌓아 올린 형태로 사전 학습을 통해 기울기 소실 문제를 해결하고, 학습 도중에 고의로 데이터를 누락시키는 방법을 사용하여 새로운 데이터를 잘 처리하지 못하는 문제까지 해결합니다.*********

‍

딥러닝의 전성기를 열다

‍

ILSVRC 역대 우승팀의 정확도, 출처

‍

1989년 힌튼의 지도를 받은 얀 레쿤과 요슈아 벤지오가 CNN(Convolution Neural Network)을 완성합니다. 기존 볼츠만 머신에 역전파 알고리즘을 결합해 구현한 심층 신경망(Deep Neural Network)으로 딥러닝의 전성기를 열었죠. 이를 적용한 AlexNet이 2012년 ILSVRC(ImageNet Large Scale Visual Recognition Challenge)에서 압도적 성적으로 우승을 차지하며 이후 깊은 구조(Deep Architecture) 기반의 딥 러닝 알고리즘이 주류를 이루게 됩니다.*********

한편 당시는 아직 냉전시대로 한참 군비확장에 열을 올리던 때였습니다. 하지만 힌튼은 자신의 연구가 군사적 목적으로 사용되는 것을 원치 않았죠. 이에 캐나다 토론토 대학으로 자리를 옮기는 한편, 구글의 석학 연구원을 겸하며 현재도 활발한 연구활동을 펼치고 있습니다.

‍

마무리하며

‍

제프리 힌튼, 출처

‍

힌튼이 뇌의 작동원리에 관심을 갖게 된 데는 고등학생 시절 친구와 나눈 대화가 계기다 되었다고 합니다. 친구는 힌튼에게 “뇌는 홀로그램처럼 작동한다.”고 말했다고 하죠. 홀로그램이 무수히 많은 레이저광을 반사해 형상을 만들 듯 뇌 역시 기억을 한 곳에 두지 않고 거대한 신경망으로 퍼뜨린다는 것입니다.**********

한동안 인공지능 연구는 수 많은 규칙을 프로그래밍해서 컴퓨터가 추론하게 만든다는 기호주의가 주류를 이루었습니다. 하지만 잘 아시다시피 AI가 지식을 스스로 배우게 해야 한다고 믿은 힌튼의 생각이 옳았다는 것이 결국 밝혀졌죠. 길고 혹독했던 AI의 겨울을 지나 신경망과 딥러닝이 화려하게 꽃을 피울 수 있었던 데는 힌튼의 역할이 결정적이었습니다.

빠르게 변화하는 인공지능 분야에서 미래를 예측하는 것은 매우 힘든 일입니다. 다만 다양한 분야에서 AI가 이미 인간을 추월했고, 계속해서 인간을 뛰어넘을 것이란 점은 분명하죠. 앞으로 힌튼은 물론 그의 후계자들이 언제 어디까지 인공지능을 발전시킬지 흥미롭게 지켜봐야겠습니다.

‍

딥러닝의 선구자 제프리 힌튼이 인공신경망과 딥러닝 연구를 통해 AI의 새로운 시대를 열었던 것처럼, LETR WORKS는 번역가들에게 새로운 가능성을 열어주는 플랫폼입니다. 힌튼이 신경망의 구조와 학습을 혁신하며 AI의 전성기를 이끌었던 것처럼, LETR WORKS는 최첨단 AI 기능을 활용해 번역 품질을 높이고 번역가의 작업을 더욱 효율적으로 만들어 줍니다. 번역가들이 뛰어난 번역 경험을 쌓을 수 있는 기회를 제공하는 LETR WORKS에서 AI 혁신의 흐름을 따라가며 더 큰 성장을 이루어 보세요.

‍