'인간에게 도전한 인공지능' 시리즈의 두 번째로 인간과 퀴즈 대결을 펼친 왓슨(Watson)에 대해 알아봅니다. 아직 첫 번째 컨텐츠 ‘인간에게 도전한 인공지능 (1)딥 블루(Deep Blue)’를 보지 않았다면 먼저 확인하실 것을 추천드립니다.
[AI 이야기] 인간에게 도전한 인공지능 (1)딥 블루(Deep Blue)
1997년 IBM 딥블루(Deep Blue)가 인간 체스 챔피언을 이기는데 성공합니다. 이후로 체스 대결에서 인간은 더 이상 인공지능의 상대가 되지 못하죠. 1967년 인공지능 체스 프로그램 맥핵(Mac Hack)이 인간을 상대로 도전을 시작한 지 30년만의 일입니다.
인공지능의 또 다른 도전, 왓슨(Watson)
2004년 IBM은 또 다른 슈퍼컴퓨터 왓슨의 개발을 시작합니다. 이어서 2011년 왓슨은 TV 퀴즈쇼 제퍼디(Jeopardy!)에 출연해 인간 퀴즈 챔피언 켄 제닝스와 브래드 루터를 압도하며 승리해버리죠. 퀴즈 대결에서 인간을 이기는데 단지 7년이 걸린 겁니다.
퀴즈쇼 재퍼디에 출연한 왓슨, 이미지 출처
그만큼 인공지능이 인간을 압도하는 속도가 빨라졌다는 의미입니다. 이후 왓슨과 대결했던 켄 제닝스는 TED 강연을 통해 ‘왓슨, 제퍼디와 나, 쓸모없어져 버린 똑똑이(Watson,Jeopardy and me, the obsolete know-it-all)’라며 다소 씁쓸한 소회를 남겼죠. 상당 기간 긴장된 대결이 펼쳐졌던 체스에 비하면 다소 싱거운 결말이었습니다.
왓슨이 이길 수 있었던 이유
기계가 퀴즈쇼에 출연하려면 우선 인간의 언어로 묻는 질문을 알아들어야 합니다. 또한 동음이의어나 말장난이 섞인 퀴즈쇼 문제의 의도까지 파악해 빠른 시간에 정확한 답을 찾아낼 수 있어야하죠. 가능한 모든 경우를 따져 최적의 수를 계산하면 됐던 체스 때보다 훨씬 더 어려운 일입니다.
하지만 당시 왓슨은 인간이 자연어로 묻는 질문을 알아 듣고 순식간에 답해버립니다. 마치 속도와 정확성 모두에서 인간의 지성을 넘어선 듯 보였죠. 이전까지 기계는 갖기 힘들다고 여겨졌던 추론 능력까지 갖춘 것 같았습니다.
왓슨은 어떻게 이런 일을 가능하게 만들었을까요?
‘IBM의 설명에 따르면 왓슨은 고도의 자연언어처리, 정보수집, 지식재현, 사고, 기계학습 기술을 개방적인 질문-응답 영역에 적용한 것’*이라 합니다. 즉 왓슨은 인간의 언어를 이해하고, 판단하는데 최적화된 일종의 인공지능 슈퍼컴퓨터입니다.
이미지 출처
하드웨어면에서 왓슨은 ‘8개의 코어 프로세서가 장착된(각 장치 당 4개로, 총 32개) IBM 파워 750 익스프레스(IBM Power 750Express) 서버 90개로 구성이 되어 있고 이 클러스터 시스템은 2,880개의 코어와 16TB의 메모리를 장착’**했습니다. 덕분에 ‘왓슨은 1초에 책 100만 권 분량에 해당하는 500기가바이트의 데이터를 처리’*할 수 있었습니다.
소프트웨어적으로는 IBM의 DeepQA 기술이 사용되었습니다. ‘DeepQA 기술은 가설을 만들고 방대한 증거를 수집해, 이 둘을 연결한 후 분석과 점수를 매겨 질문에 응답’*합니다. 즉 왓슨은 우선 질문을 단어 단위로 나눠 분석하고, 데이터베이스에서 가능성이 있는 답들을 수집해 얼마나 정답에 가까운지 근거를 찾아 평가하는 과정을 거쳐 최종 정답을 결정하게 되는 것이죠.
왓슨이 정답을 찾는 프로세스, 이미지 원본
또한 왓슨은 ‘사전, 백과사전, 참고문헌, 위키피디아를 포함해 4테라바이트에 달하는 2억 페이지 양의 구조화되거나 비구조화된 데이터를 이용’*했습니다. 다만 공정한 대결을 위해 경기 중에는 인터넷에 연결하지 않았고, 당연히 세상의 모든 지식을 전부 다운로드해 놓은 것은 아니었습니다.
결국 왓슨의 승리는 강력한 하드웨어의 처리 능력과 인간의 언어를 이해해 답을 찾아낼 수 있는 알고리즘의 결합에 엄청난 양의 지식을 학습하고 축적할 수 있게 한 빅 데이터가 뒷받침 된 덕분이었습니다.
이후 왓슨은 오늘날까지 이어지며 다방면에서 활용되게 됩니다. 특히 의료, 법률, 금융 등 방대한 양의 데이터를 빠른 속도로 분석해 최적에 가까운 답을 내놓아야 하는 전문 분야에서 그 능력을 발휘해왔죠.
마무리하며
바야흐로 AI와 빅데이터의 시대입니다. 세상의 지식과 컨텐츠는 물론 사소해보이는 일상생활까지 모두 데이터화되고 있고, 이것이 모인 빅데이터가 AI의 학습에 사용되고 있죠. 20여년 전 왓슨이 퀴즈 대결에서 인간을 이길 수 있었던 것도 이 덕분이었습니다.
최근 AI가 급속도로 발전한 것처럼 보입니다. 하지만 알고 보면 데이터 수집 및 분석 기술이 고도화되면서 머신 러닝을 통해 AI의 성능도 함께 향상된 덕분이었죠. 방대한 데이터를 기반으로 기계가 더 많이 학습하고, 더 똑똑해질 수 있었던 겁니다.
왓슨 개발 당시만해도 기계가 사람의 질문을 알아들어 답을 한다는 것 자체가 혁신적이었습니다. 그런데 이제는 어느새 음성인식 AI가 일상생활 속 친근한 기술이 되어버렸죠. 이런 속도라면 아직은 인간이 낫다고 평가받는 번역과 같은 분야에서도 AI가 우위를 점할 날이 머지않은 것 같습니다.
사실 왓슨은 인간의 언어를 완벽하게 이해한 것은 아니었습니다. 질문의 주요 단어들의 연관관계를 분석해 답을 유추한 것이니까요. 하지만 최근의 기술 발전을 보고 있으면 인간의 언어를 정확히 이해하고, 자연스러운 표현으로 대답하는 AI의 등장을 기대하게 됩니다.
레터웍스는 인텔리전스 데이터 플랫폼을 제공하는 AI 전문 회사로, 고객의 콘텐츠 데이터 분석 및 활용을 극대화하는 솔루션을 제공합니다. IBM의 왓슨이 퀴즈쇼에서 보여준 뛰어난 성능처럼, 레터웍스는 고급 자연어 처리 기술과 빅데이터 분석을 통해 고객의 요구에 맞는 정확하고 신속한 데이터 인사이트를 제공합니다. 영상 자막, 문서 번역, 그리고 다양한 데이터 처리 솔루션을 통해 고객의 콘텐츠와 비즈니스 가치를 높이는 데 기여하고 있습니다. 데이터의 힘을 활용하고자 하는 모든 기업에 있어 레터웍스는 믿음직한 파트너가 될 것입니다.
References
[1] https://ko.wikipedia.org/wiki/왓슨_(컴퓨터)
[2] 사람 vs. 컴퓨터 퀴즈쇼, 최종 승자는 IBM '왓슨' https://www.bloter.net/newsView/blt201102170006
[3] Watson and the Jeopardy! Challenge https://youtu.be/P18EdAKuC1U
[4] Ken Jennings: Watson, Jeopardy and me, theobsolete know-it-all https://youtu.be/b2M-SeKey4o
[5] https://terms.naver.com/entry.naver?docId=1691756&cid=42171&categoryId=42187
[6] 왓슨 컴퓨터의 인공지능 소개 https://spri.kr/posts/view/12904?code=information
[7] [똑똑!빅데이터]'왓슨'은 어떻게 사람보다 퀴즈를 잘풀까 https://www.edaily.co.kr/news/read?newsid=01341526615831832
함께보면 좋은 콘텐츠
[AI 이야기] 인간에게 도전한 인공지능 (1)딥 블루(Deep Blue)
