시리즈의 네 번째 순서로 현대 딥러닝의 토대를 마련한 프랭크 로젠블랫에 관해 알아봅니다. 혹시 아직 시리즈의 지난 컨텐츠를 확인하지 않았다면 먼저 읽어 보시는 것을 추천합니다.
[AI 이야기] 인공지능의 결정적 인물들 (1)앨런 튜링
[AI 이야기] 인공지능의 결정적 인물들 (2)딥러닝의 시초, 월터 피츠
[AI 이야기] 인공지능의 결정적 인물들 (3)인공지능의 시조, 존 매카시
프랭크 로젠블랫(1928.7.11~1971.7.11)은 현대 딥러닝의 단초가 된 퍼셉트론(Perceptron)을 만든 인공지능의 선구자 중 한 사람입니다. 오늘날 인공지능의 전성기를 가능하게 한 인공신경망, 딥러닝의 토대를 마련한 그의 삶과 업적에 관해 살펴보겠습니다.
뇌의 작동 원리에 대한 탐구
프랭크 로젠블랫, 출처
1928년 뉴욕에서 태어난 로젠블랫은 코넬대에서 사회심리학을 전공하고, 심리학 박사 학위를 받았습니다. 즉 대부분의 연구자들처럼 수학이나 공학을 전공하지는 않았죠. 하지만 그에게는 우리의 뇌가 작동하는 원리를 밝혀, 구현해내고 싶다는 열망이 있었습니다.
뇌의 작동 방식을 따른 퍼셉트론
로젠블랫과 퍼셉트론, 출처
로젠블랫이 1958년 발표한 논문 ‘퍼셉트론(THE PERCEPTRON: A PROBABILISTIC MODEL FOR INFORMATION STORAGE AND ORGANIZATION IN THE BRAIN)*은 다음과 같은 질문으로 시작합니다.
“If we are eventually to understand the capability of higher organisms for perceptual recognition, generalization, recall, and thinking, we must first have answers to three fundamental question.”*(우리가 궁극적으로 지각적 인식, 일반화, 기억 그리고 사고를 할 수 있는 고등 유기체의 능력을 이해하기 위해서는 먼저 세 가지 근본적인 질문에 대해 답할 수 있어야 한다.**)
1. How is information about the physical world sensed, or detected, by the biological system?* (생물 시스템은 실제 물리적 세계에 대한 정보를 어떻게 감지할까?**)
2. In what form is information stored, or remembered?* (어떤 형태로 저장되거나 기억될까? **)
3. How does information contained in storage, or in memory, influence recognition and behavior?* (스토리지 또는 메모리에 저장된 정보가 인식과 동작에 어떻게 영향을 미칠까? **)
이상의 질문들만 봐도 알 수 있지만, 당시만 해도 우리 뇌 속 신경망이 어떻게 작동하는지 잘 알지 못했습니다. 로젠블랫은 이 거대한 미스터리에 대한 답을 찾고 싶었죠. 결국은 그때까지 인류가 풀지 못한 이 커다란 의문에 대한 그의 해답이 바로 퍼셉트론이였습니다.
뇌의 생리학적 구조를 본 뜬 퍼셉트론, 출처
다만 퍼셉트론이 신경망 구조를 처음으로 모델링한 것은 아니었습니다. 이에 앞서 1943년 최초로 뇌 속 뉴런의 작용을 수학적으로 제시한 ‘맥컬록-피츠 모델’이 발표되었죠. 로젠블랫은 여기에 가중치(Weights) 개념을 추가하여 하드웨어로 구현된 최초의 신경망인 퍼셉트론을 만들었습니다.***
실제로도 퍼셉트론은 연구 자금을 지원한 미 해군 연구소에서 이미지를 인식하는 시연에 성공합니다. 이 실험은 로젠블랫의 목표인 “스스로 고유한 아이디어를 가질 수 있는, 즉 생각할 수 있는 최초의 기계”라는 가능성을 보여줬죠. 5톤 크기의 거대한 컴퓨터인 IBM 704에 여러 개의 펀치 카드들을 읽어 들였고, 50번의 시행착오 끝에 왼쪽과 오른쪽에 마크 표시한 펀치 카드들을 구별하는 방법을 스스로 학습해냈습니다.**
이 시연은 당시 전 사회적으로 큰 관심을 받습니다. 뉴욕타임스 등 유력지에도 비중있게 소개되었죠. 당시 기사의 표현을 빌리자면 ‘걷고, 이야기하고, 보고, 글을 쓸 수 있을 뿐만 아니라 자기 복제와 자신의 존재 인식이 가능한’**** 인공지능의 시대가 올 것이라는 낙관론이 퍼져나갔습니다.
참고로 맥컬록-피츠 모델 및 퍼셉트론의 구조 등에 관해 이미 지난 포스팅에서 살펴봤습니다. 자세한 내용이 궁금하다면 함께 확인해주세요.
민스키와 기호주의 VS 로젠블랫과 연결주의
퍼셉트론 이전 학계는 마빈 민스키로 대표되는 기호주의가 주류였습니다. 이들은 “인간의 지식을 기호화해 컴퓨터에 입력하면 사람과 똑같은 출력을 내줄 것”이라고 생각했죠. 반면 로젠블랫은 “컴퓨터도 인간 뇌의 신경망처럼 학습시키면 근삿값을 출력할 수 있다”는 ‘퍼셉트론’을 제시했죠. 이른바 연결주의로 오늘날 딥러닝 기반 인공지능, 예를 들면 알파고도 이 계열에 해당합니다.*****
퍼셉트론의 한계를 비판한 마빈 민스키와 시모어 페퍼트, 출처
그런데 당시 로젠블랫의 퍼셉트론이 주목받으면서 주류였던 기호주의가 외면받게 됩니다. 자연스럽게 연구 인력과 자금도 신경망 연구쪽으로 몰려들었죠. 이에 민스키는 1969년 ‘퍼셉트론즈( Perceptrons)’란 책을 발표해 퍼셉트론 개념의 한계를 비판했고, 그 결과 신경망 연구에 대한 관심과 지원은 끊어지고 말았습니다.
참고로 민스키가 지적한 퍼셉트론의 문제점과 한계에 대해서는 이미 지난 포스팅에서 살펴봤습니다. 자세한 내용이 궁금하다면 함께 확인해주세요.
비극적인 죽음과 뒤늦게 인정받은 업적
로젠블랫은 1971년 43번째 생일날 보트 사고로 사망합니다. 어려움을 겪던 가운데 자살로 추정되는 비극적인 죽음이었죠. 이후 민스키의 기호주의로 관심과 지원이 옮겨갔지만, 아이러니하게도 이쪽 역시 한계가 드러나며 인공지능의 겨울이라는 혹독한 시기가 찾아오게 됩니다.
하지만 1986년 제프리 힌튼에 의해 다층 퍼셉트론과 역전파 알고리즘이 재발견되며 신경망 연구는 다시 살아납니다. 10년이 넘는 시간이 지나가고, 신경망은 딥러닝이란 새로운 이름으로 부활할 수 있었죠. 이후 컴퓨터 하드웨어 및 학습 알고리즘이 발달하며 수십 개의 은닉층이 있는 심층 신경망이 널리 사용되게 됩니다. ******
결국 로젠블랫은 잘못된 길을 선택하지 않았었습니다. 다만 그의 아이디어가 빛을 보기까지 더 많은 시행착오와 개선 작업이 필요했을 뿐. 그가 예상했던 것처럼 어느새 인공지능은 사람을 인식하고, 대화를 하고, 글을 쓰고 있으니까요.
참고로 다층 퍼셉트론과 역전파 알고리즘에 대해서는 이미 지난 포스팅에서 살펴봤습니다. 자세한 내용이 궁금하다면 함께 확인해주세요.
References
[1] https://en.wikipedia.org/wiki/Frank_Rosenblatt
[2] Professor’s perceptron paved the way for AI– 60 years too soon https://news.cornell.edu/stories/2019/09/professors-perceptron-paved-way-ai-60-years-too-soon
[3] The AI Wars: lessons from the conflict that paralyzed the field https://towardsdatascience.com/the-ai-wars-lessons-from-the-conflict-that-paralyzed-the-field-7344666c7875
[4] http://wiki.hash.kr/index.php/퍼셉트론
[5] Perceptron, the first implementation of artificial neural networks and the beginning of modern deep learning https://magazine.hankyung.com/business/article/202103186579b
[6] From Perceptron to CNN, the history of deep learning http://times.kaist.ac.kr/news/articleView.html?idxno=4675
[7] [Lee Hyung Hyung Science Column] Artificial Intelligence 'One Roof, Two Family' Competition https://www.mk.co.kr/opinion/contributors/view/2016/02/135625/
[8] [Eureka] Artificial Intelligence and Trage/ Lee Geun-young https://www.hani.co.kr/arti/PRINT/736037.html
Good content to watch together
[AI Story] Crucial Moments of Artificial Intelligence 1[AI Story] Crucial Moments of Artificial Intelligence 2[AI Story] Key Figures of Artificial Intelligence (1) Alan Turing[AI Story] The decisive figures of artificial intelligence (2) Walter Fitz, the founder of deep learning[AI Story] The decisive figures of artificial intelligence (3) John McCarthy, the founder of artificial intelligence
