시리즈의 두 번째 순서로 퍼센트론 이후 인공지능의 발전사를 계속해서 돌아봅니다. 혹시 아직 시리즈의 지난 컨텐츠를 보지 않으셨다면 먼저 확인해보시는 것을 추천드립니다.
[AI 이야기] 인공지능의 결정적 순간들 1
1969, XOR 문제와 AI의 1차 겨울
마빈 민스키와 퍼셉트론의 문제를 지적한 저서 <Perceptrons>, 출처
1969년 마빈 민스키와 시모어 페퍼트가 퍼셉트론의 문제점과 한계를 수학적 증명으로 발표합니다. 퍼셉트론은 AND 또는 OR 같은 선형 분리가 가능한 문제는 가능하지만, 선형(linear) 방식으로 데이터를 구분할 수 없는 XOR 문제*에는 적용할 수 없다는 것이죠. 사실 이는 퍼셉트론의 한계**를 증명한 것이지만, 당시에는 인공신경망 자체의 한계가 드러난 것으로 받아들여졌습니다.
이후 인공지능의 겨울이라 불리는 암울한 시기가 도래합니다. AI 연구에 대한 지원이 끊기고, AI의 가능성에 대한 회의적 전망이 퍼져나갔죠. “폭발적인 조합 증가(Combinational explosion)를 인공지능이 다룰(Intractability)수 없다.”***는 비관적 전망이 나왔고, 대규모의 자금 지원이 끊겼으며, 다수의 연구 프로젝트들이 취소되었습니다.
1986, 다층 퍼셉트론 문제 해결과 AI의 부활
제프린 힌튼 등이 발표한 <Parallel Distributed Processing>, 출처
1986년 제프리 힌튼이 다층 퍼셉트론(Multi-LayerPerceptrons)****과 역전파(Back-propagation)***** 알고리즘을 실험적으로 증명합니다. 이를 통해 AI의 겨울을 불러 온 XOR 문제를 해결해냈죠. 오랜 암흑기를 깨고 인공 신경망과 AI 연구가 다시 되살아 난 것입니다.
다층 퍼셉트론과 역전파 알고리즘 개념도, 출처
기존의 퍼센트론으로는 XOR 문제를 해결할 수 없었습니다. 그런데 다층 퍼셉트론과 역전파 알고리즘이 그 해결책이 된 것이죠. 다층 퍼센트론은 히든 레이어라는 중간층을 추가함으로써 XOR 문제를 해결할 수 있었고, 역전파 알고리즘은 정방(Feed forward) 연산 이후 오차를 후방으로 다시 보내는 방법으로 가중치 값을 최적화하여 다층 신경망을 가능하게 만들었습니다.
다만 힌튼 혼자 갑자기 이뤄낸 혁신은 아니었습니다. 어려운 시기에도 연구를 계속해 온 연구자들의 노력이 축적된 결과였죠. 이미 1960년대부터 역전파 연구가 시작되었지만 침체된 분위기에 묻혀 있었고*****, 이것이 힌튼에 의해 다시 빛을 보게 된 것입니다.
이를 계기로 한동안 AI 연구는 다시 활기를 띠며 큰 발전을 이룰 수 있었습니다.
1990s, 기울기 소실 문제와 AI의 2차 겨울
다층 퍼셉트론과 역전파 방법으로 인공신경망은 다시 주목받았습니다. 다만 이것만으로는 신경망에 적용할 수 있는 범위가 한정적이었죠. 크고 복잡한 데이터를 다루려면 히든 레이어를 여러 개 연결해야 하는데, 다층 퍼센트론과 역전파 방법만 갖고는 한계가 보이기 시작했습니다.
기울기 소실 개념도, 출처
다음으로 기울기 소실 문제(VanishingGradient Problem)******가 발생했습니다. 이는 AI의 두 번째 겨울이 찾아오게 만든 결정적인 문제였죠. 인공신경망의 계층이 많아질수록 학습에 중요한 역할을 하는 입력층의 가중치 조정이 제대로 되지 않은 겁니다.
결국 다층 신경망 활용의 제한성, 복잡한 연산 처리가 힘든 당시 컴퓨터의 성능 등 여러 제약으로 인해 다시 힘든 시기가 찾아왔습니다. AI 연구는 두 번째 암흑기에 접어들고 말았죠. 또 다시 연구 지원은 대폭 축소되기 시작했고, 관련 산업도 침체기에 접어들게 됩니다.
이번에는 인공지능의 첫번째 겨울부터 두번째 겨울에 이르기까지 굴곡의 역사를 돌아봤습니다. 이어서 다음에는 딥러닝의 등장 이후 계속해서 발전하여 최근 전성기를 맞이하기까지 인공지능의 이야기를 소개드립니다.
이와 같은 인공지능 발전의 흐름 속에서 LETR WORKS는 언어 분석 및 자동화의 새로운 가능성을 제시하며, AI 기술의 실질적 활용에 힘을 보태고 있습니다. LETR WORKS는 한계와 문제를 극복해 가며 텍스트 요약, 번역 등 고도화된 언어 작업을 지원함으로써 AI의 실용적 응용을 확장하고 있습니다. 이를 통해 인공지능의 역사 속 문제 해결 사례에서 영감을 얻어, 현대의 다양한 과제에 AI 기술을 도입하려는 여러분께 LETR WORKS를 추천드립니다.
References
[1] https://ko.wikipedia.org/wiki/인공지능#역사
[2] https://terms.naver.com/entry.naver?docId=1691762&cid=42171&categoryId=42187
[3] 인공지능의 역사, 분류 그리고 발전 방향에 관한 연구 – 조민호 http://koreascience.or.kr/article/JAKO202113254541050.pdf
[4] http://www.aistudy.com/history/history.htm
[5] 퍼셉트론: 인공지능의 시작 https://horizon.kias.re.kr/17443/
[6] 인공지능은 어떻게 발달해왔는가, 인공지능의 역사 https://www.samsungsds.com/kr/insights/091517_CX_CVP3.html
[7] [AI기획②] 인공지능 태동과 발전…암흑기와 ‘AI윈터’ http://scimonitors.com/ai기획②-인공지능-발달과정-튜링부터-구글-알파고-ibm/
[8] 인공신경망 소개 및 발전 동향 https://www.koreascience.or.kr/article/JAKO201724655833983.pdf
함께보면 좋은 콘텐츠
[AI 이야기] 인공지능의 결정적 순간들 1
