올 여름 LETR 웹사이트를 오픈하고, 블로그를 시작한 것이 얼마 전 일인 것 같은데 어느덧 올해의 마지막 컨텐츠를 포스팅하네요. 그럼 지난주 '2021 인공지능 및 자연어처리 주요 뉴스 (1)'에 이어 하반기 주요 뉴스들을 소개해 드립니다.
7월
요슈아 벤지오·제프리 힌튼·얀 르쿤, 공동 논문 ‘AI를 위한 딥러닝(Deep Learning for AI)’ 발표
2018년 튜링상 수상 당시 얀 르쿤·제프리 힌튼·요슈아 벤지오, 출처
딥러닝의 선구자인 요슈아 벤지오, 제프리 힌튼, 얀 르쿤이 함께 ‘AI를 위한 딥러닝(Deep Learningfor AI)’이라는 논문을 발표했습니다. 세 사람은 이 논문을 통해 기존 딥러닝 학습 방법의 문제점과 이에 대한 해결 방안, 그리고 발전적인 미래상까지 제시하였죠. 많은 양의 인간 노동력, 대규모 컴퓨팅 리소스의 필요 등 현재 딥러닝의 문제점을 지적하는 한편 라벨링 없이 탄생한 ‘트랜스포머(Transformer)’나 ‘자기지도학습(Self-Supervised Learning)’ 등 사례를 언급하며 딥러닝의 미래에 대한 비전을 제시했습니다.
깃허브+오픈AI, 자동 코드 완성 인공지능 '코파일럿(Copilot)' 출시
GitHub Copilot, 출처
깃허브와 오픈AI가 인공지능 기반 코드 작성 툴 ‘코파일럿(Copilot)’을 출시했습니다. 깃허브는 코파일럿을 툴보다는 코드를 함께 작성하는 ‘인공지능 페어 프로그래머’라고 설명했죠. 물론 코파일럿이 아직 개발자를 대체할 수는 없지만, 향후 개발자 학습과 작업 효율화에 많은 도움이 될 것으로 기대됩니다. 또한 머지않아 현실화될지 모르는 더 자동화되고 더 빠르게 개발하는 AI 주도형 개발 시대의 도래까지도 상상하게 만들어주네요.
8월
스탠퍼드 인간중심연구소, 대규모 언어모델과 AI윤리의 관계에 대한 논문 발표
논문 중 편향성의 문제점에 관한 도표, 출처
페이페이 리, 퍼시 리앙 등 대가들이 참여한 스탠퍼드대 연구진이 ‘기초 모델의 기회와 리스크(On the Opportunities and Risks of Foundation Models)’라는 논문을 발표했습니다. 이 논문은 최근 몇 년 사이 속속 등장하며 각광받고 있는 대규모 언어모델에 대해 문제를 제기하였죠. 언어모델의 잠재적 편향성과 대규모 컴퓨팅이 환경에 미치는 부정적 영향 등 문제점을 지적하는 한편 윤리적, 사회적으로 책임감 있는 방식으로 개발하고, 배치할 것을 제안하였습니다.
ACL-IJCNLP 2021, 아시아 NLP 발전 가능성 확인
ACL-IJCNLP 2021,출처
제11차 자연어처리 국제공동 컨퍼런스(ACL-IJCNLP2021)가 태국 방콕에서 온라인으로 개최됐습니다. 이 행사는 아시아 자연어처리(NLP) AI 모델 개발자들의 연구결과를 발표하고, 공유하는 자리죠. 일주일간 메타버스 플랫폼을 통해 진행된 본 행사에서는 다양한 워크숍과 세션들이 이루어졌고 바이두, 네이버 등 선도 기업들도 다수 참여했습니다.
테슬라 AI데이, 자율주행·슈퍼컴·로봇 등 기술 및 비전 발표
테슬라 AI DAY, 출처
테슬라가 AI 데이 행사를 열고 반도체 'D1', 슈퍼컴퓨터 '도조(Dojo)', '테슬라 봇(Tesla Bot)'를 핵심으로 한 미래 비전을 공개했습니다. 특히 인수합병이나 전략적 제휴가 아닌 독자적 기술 방식을 내세운 차별화 전략이 돋보였죠. 일론 머스크 CEO는 휴머노이드 ‘테슬라 봇’에 대해 지루하고 반복적인 노동을 줄여 세계 경제를 획기적으로 바꿀 것이라고 소개했습니다.
고려대-미국 프린스턴대 연구진, 실시간 질의응답 AI 모델 개발
덴스프레이즈 시연 페이지, 출처
고려대와 프린스턴대 연구팀이 공동연구를 통해 덴스프레이즈(DensePhrases)라는 AI 모델을 개발했습니다. 연구팀은 사용자의 일상어 질의에 대한 답을 위키피디아에서 찾아 100㎳(0.1초) 내외로 처리한다고 발표했죠. 특히 기존 최고 성능의 AI 모델과 유사한 성능을 제공하면서 처리 속도가 20배 이상 향상됐고, 기존 딥러닝 모델의 학습 및 구동에 필요한 고가의 GPU도 필요없다고 합니다.
10월
페이스북, 1인칭 시점 AI 개발 프로젝트 ‘EGO4D’ 발표
EGO4D 데이터 수집, 출처
페이스북이 발표한 EGO4D는 인공지능이 인간 시점에서 세상을 바라보고 상호작용할 수 있도록 만들기 위한 프로젝트입니다. 이를 위해 9개국 13개 대학과 2개 연구소가 컨소시엄을 구성하고, 700명이 넘는 참가자가 일상생활을 담은 3,000시간 이상의 1인칭 비디오를 수집했다고 알려졌죠. 사생활 침해가 우려되기는 하지만 사람이 물건의 위치를 잃어버렸을 때, 타인에게서 들은 이야기를 상기할 때 AI가 인간을 도와 물건을 찾아주고, 이야기를 기억해내는데 도움을 주는 등 유용하게 쓰일 것으로 기대됩니다.
딥마인드, 90분 뒤 강수 예측 AI 개발
DGMR 개념도, 출처
딥마인드가 영국 기상청과 협력해 90분 이내 강수 확률을 정확히 예측하는 딥러닝 도구인 ‘DGMR’을 개발했습니다. 이를 위해 AI가 2016~2018년 촬영한 영국의 레이더 데이터를 학습하도록 한 뒤 2019년부터 예보 실험을 시작했다고 하죠. 기존 기상 예측 시스템은 수치예보 방식으로 복잡한 수학 방정식을 이용하는데 비해, DGMR은 AI가 데이터들의 분포를 분석하고 유사한 새로운 데이터를 생성해내는 '생성 모델링' 방식으로 훨씬 정확한 예측을 할 수 있다고 합니다.
11월
카카오, 한국어 초거대 AI 언어모델 ‘KoGPT’ 공개
‘if (kakao) 2021’에서 ‘KoGPT’ 소개 모습, 출처
네이버 하이퍼클로바에 이어 카카오에서도 한국어 특화 AI 언어모델 ‘KoGPT’를 공개했습니다. KoGPT는 GPT-3의 한국어 특화 버전으로 60억개의 매개변수와 2,000억개 토큰(token)의 한국어 데이터를 바탕으로 구축했다고 발표했는대요. 특히 카카오에서는 블록체인 기술을 도입해 향후 언어 모델 최대 규모를 100배 이상 더 키울 계획이라고 합니다.
12월
딥마인드, 초거대 AI 언어모델 Gopher 및 검색 기반 거대모델 RETRO 공개
Gopher와 GPT-3, 인간 전문가 능력 비교, 출처
Gopher는 딥마인드가 자체 개발한 초거대 AI 언어모델입니다. 오픈AI의 GPT-3보다 큰 2,800억개 매개변수로 구성되었죠. 게다가 기존 초거대 언어모델을 능가하는 성능을 보여준다고 합니다.
RETRO 개념도, 출처
이어서 함께 공개한 RETRO(Retrieval-Enhanced Transformer)는 검색을 기반으로 한 거대모델입니다. 모든 정보를 기억해야 하는 기존 모델들과 달리 외부 메모리를 사용하는 새로운 방식의 언어모델이죠. 이렇게 외부 메모리 활용을 통해 25배 정도 큰 기존 모델에 필적하는 결과를 보여주는 것은 물론 초대형 모델을 훈련하는 필요한 시간과 비용까지 대폭 줄여준다고 합니다.
딥마인드의 6가지 윤리 카테고리, 출처
또한 딥마인드는 초거대 언어모델 사용에 대한 윤리 문제를 주제로 한 논문도 함께 발표했습니다. 언어모델에서 발생할 수 있는 윤리적, 사회적 위험을 예측하고 이 위험들에 대한 포괄적인 분류법을 기존 연구들을 참고해 만들었다고 하죠. 그 결과 위 이미지와 같이 6가지 주제 영역 및 21개 위험 요소를 제시했습니다.
카카오, 초거대 AI 멀티모달(multimodal) ‘minDALL-E’ 공개
AI가 명령어를 이해하고 생성한 이미지, 출처
카카오가 한국어 초거대 언어모델 ‘KoGPT’에 이어 텍스트와 이미지를 동시에 이해하는 멀티모달을 개발했습니다. 오픈AI(Open AI)의 ‘DALL-E’를 누구나 접근하기 쉽게 작은 사이즈 모델로 만든 것으로 ‘minDALL-E’라고 하죠. 또한 앞으로도 다양한 모델을 공개하는 등 향후 서비스 확장을 꾀할 것으로 예상됩니다.
References
[1] Deep Learning for AI(ACM저널) https://cacm.acm.org/magazines/2021/7/253464-deep-learning-for-ai/fulltext
[2] Deep Learning for AI(저자들의 토론 영상) https://vimeo.com/554817366
[3] 코드 혼자 치세요? 이제 AI랑 같이 쳐봐요! https://maily.so/1step/posts/0f41a5
[4] 스탠퍼드대 연구진,"대규모 언어모델이 편향성 강화하고 심각한 환경 오염 발생시켜" http://www.aitimes.com/news/articleView.html?idxno=140210
[5] On the Opportunities and Risks of Foundation Models https://arxiv.org/abs/2108.07258
[6] '테슬라 AI데이'..."반도체·슈퍼컴퓨터·로봇, 직접 만든다"https://www.etnews.com/20210820000176
[7] 테슬라 AI 데이 영상 https://youtu.be/j0z4FweCy4M
[8] 막 내린ACL-IJCNLP 2021...아시아 NLP 개발 발전 가능성 확인 http://www.aitimes.com/news/articleView.html?idxno=140049
[9] 고려대 이진혁 박사, 프린스턴大와 자연어처리 인공지능 개발... 실시간 질의응답(Q&A)모델 'AI덴스프레이즈' http://www.aitimes.kr/news/articleView.html?idxno=22015
[10] Learning Dense Representations of Phrases at Scale https://arxiv.org/abs/2012.12624
[11] https://github.com/princeton-nlp/DensePhrases
[12] 페이스북, 1인칭 시점 AI 개발 프로젝트 'EGO4D' 발표..."AI가 주체성 가진다" http://www.aitimes.com/news/articleView.html?idxno=141051
[13] Ego4D: Around the World in 3,000 Hours of Egocentric Video https://arxiv.org/abs/2110.07058
[14] Ego4D: Teaching AIto perceive the world through your eyes https://youtu.be/taC2ZKl9IsE
[15] 90분 이내의 날씨 예측 정확도 크게 높인 딥마인드의 AI https://www.technologyreview.kr/deepminds-ai-predicts-almost-exactly-when-and-where-its-going-to-rain/
[16] Skillful precipitation nowcasting using deep generative models of radar https://www.nature.com/articles/s41586-021-03854-z
[17] 카카오브레인, 한국어 초거대 AI 언어모델 ‘KoGPT’ 공개 https://www.kakaocorp.com/page/detail/9600
[18] Language modelling at scale: Gopher, ethical considerations, and retrieval https://www.deepmind.com/blog/article/language-modelling-at-scale
[19] Scaling Language Models: Methods, Analysis & Insights from Training Gopher https://storage.googleapis.com/deepmind-media/research/language-research/Training%20Gopher.pdf
[20] Challenges in Detoxifying Language Models https://deepmind.com/research/publications/2021/Challenges-in-Detoxifying-Language-Models
