올 여름 LETR 웹사이트를 오픈하고, 블로그를 시작한 것이 얼마 전 일인 것 같은데 어느덧 올해의 마지막 컨텐츠를 포스팅하네요. 그럼 지난주 '2021 인공지능 및 자연어처리 주요 뉴스 (1)'에 이어 하반기 주요 뉴스들을 소개해 드립니다.
7월
요슈아 벤지오·제프리 힌튼·얀 르쿤, 공동 논문 ‘AI를 위한 딥러닝(Deep Learning for AI)’ 발표
2018년 튜링상 수상 당시 얀 르쿤·제프리 힌튼·요슈아 벤지오, 출처
딥러닝의 선구자인 요슈아 벤지오, 제프리 힌튼, 얀 르쿤이 함께 ‘AI를 위한 딥러닝(Deep Learningfor AI)’이라는 논문을 발표했습니다. 세 사람은 이 논문을 통해 기존 딥러닝 학습 방법의 문제점과 이에 대한 해결 방안, 그리고 발전적인 미래상까지 제시하였죠. 많은 양의 인간 노동력, 대규모 컴퓨팅 리소스의 필요 등 현재 딥러닝의 문제점을 지적하는 한편 라벨링 없이 탄생한 ‘트랜스포머(Transformer)’나 ‘자기지도학습(Self-Supervised Learning)’ 등 사례를 언급하며 딥러닝의 미래에 대한 비전을 제시했습니다.
깃허브+오픈AI, 자동 코드 완성 인공지능 '코파일럿(Copilot)' 출시
GitHub Copilot, 출처
깃허브와 오픈AI가 인공지능 기반 코드 작성 툴 ‘코파일럿(Copilot)’을 출시했습니다. 깃허브는 코파일럿을 툴보다는 코드를 함께 작성하는 ‘인공지능 페어 프로그래머’라고 설명했죠. 물론 코파일럿이 아직 개발자를 대체할 수는 없지만, 향후 개발자 학습과 작업 효율화에 많은 도움이 될 것으로 기대됩니다. 또한 머지않아 현실화될지 모르는 더 자동화되고 더 빠르게 개발하는 AI 주도형 개발 시대의 도래까지도 상상하게 만들어주네요.
8월
스탠퍼드 인간중심연구소, 대규모 언어모델과 AI윤리의 관계에 대한 논문 발표
논문 중 편향성의 문제점에 관한 도표, 출처
페이페이 리, 퍼시 리앙 등 대가들이 참여한 스탠퍼드대 연구진이 ‘기초 모델의 기회와 리스크(On the Opportunities and Risks of Foundation Models)’라는 논문을 발표했습니다. 이 논문은 최근 몇 년 사이 속속 등장하며 각광받고 있는 대규모 언어모델에 대해 문제를 제기하였죠. 언어모델의 잠재적 편향성과 대규모 컴퓨팅이 환경에 미치는 부정적 영향 등 문제점을 지적하는 한편 윤리적, 사회적으로 책임감 있는 방식으로 개발하고, 배치할 것을 제안하였습니다.
ACL-IJCNLP 2021, 아시아 NLP 발전 가능성 확인
ACL-IJCNLP 2021,출처
제11차 자연어처리 국제공동 컨퍼런스(ACL-IJCNLP2021)가 태국 방콕에서 온라인으로 개최됐습니다. 이 행사는 아시아 자연어처리(NLP) AI 모델 개발자들의 연구결과를 발표하고, 공유하는 자리죠. 일주일간 메타버스 플랫폼을 통해 진행된 본 행사에서는 다양한 워크숍과 세션들이 이루어졌고 바이두, 네이버 등 선도 기업들도 다수 참여했습니다.
테슬라 AI데이, 자율주행·슈퍼컴·로봇 등 기술 및 비전 발표
테슬라 AI DAY, 출처
테슬라가 AI 데이 행사를 열고 반도체 'D1', 슈퍼컴퓨터 '도조(Dojo)', '테슬라 봇(Tesla Bot)'를 핵심으로 한 미래 비전을 공개했습니다. 특히 인수합병이나 전략적 제휴가 아닌 독자적 기술 방식을 내세운 차별화 전략이 돋보였죠. 일론 머스크 CEO는 휴머노이드 ‘테슬라 봇’에 대해 지루하고 반복적인 노동을 줄여 세계 경제를 획기적으로 바꿀 것이라고 소개했습니다.
고려대-미국 프린스턴대 연구진, 실시간 질의응답 AI 모델 개발
덴스프레이즈 시연 페이지, 출처
고려대와 프린스턴대 연구팀이 공동연구를 통해 덴스프레이즈(DensePhrases)라는 AI 모델을 개발했습니다. 연구팀은 사용자의 일상어 질의에 대한 답을 위키피디아에서 찾아 100㎳(0.1초) 내외로 처리한다고 발표했죠. 특히 기존 최고 성능의 AI 모델과 유사한 성능을 제공하면서 처리 속도가 20배 이상 향상됐고, 기존 딥러닝 모델의 학습 및 구동에 필요한 고가의 GPU도 필요없다고 합니다.
10월
페이스북, 1인칭 시점 AI 개발 프로젝트 ‘EGO4D’ 발표
EGO4D 데이터 수집, 출처
페이스북이 발표한 EGO4D는 인공지능이 인간 시점에서 세상을 바라보고 상호작용할 수 있도록 만들기 위한 프로젝트입니다. 이를 위해 9개국 13개 대학과 2개 연구소가 컨소시엄을 구성하고, 700명이 넘는 참가자가 일상생활을 담은 3,000시간 이상의 1인칭 비디오를 수집했다고 알려졌죠. 사생활 침해가 우려되기는 하지만 사람이 물건의 위치를 잃어버렸을 때, 타인에게서 들은 이야기를 상기할 때 AI가 인간을 도와 물건을 찾아주고, 이야기를 기억해내는데 도움을 주는 등 유용하게 쓰일 것으로 기대됩니다.
딥마인드, 90분 뒤 강수 예측 AI 개발
DGMR 개념도, 출처
딥마인드가 영국 기상청과 협력해 90분 이내 강수 확률을 정확히 예측하는 딥러닝 도구인 ‘DGMR’을 개발했습니다. 이를 위해 AI가 2016~2018년 촬영한 영국의 레이더 데이터를 학습하도록 한 뒤 2019년부터 예보 실험을 시작했다고 하죠. 기존 기상 예측 시스템은 수치예보 방식으로 복잡한 수학 방정식을 이용하는데 비해, DGMR은 AI가 데이터들의 분포를 분석하고 유사한 새로운 데이터를 생성해내는 '생성 모델링' 방식으로 훨씬 정확한 예측을 할 수 있다고 합니다.
11월
카카오, 한국어 초거대 AI 언어모델 ‘KoGPT’ 공개
‘if (kakao) 2021’에서 ‘KoGPT’ 소개 모습, 출처
네이버 하이퍼클로바에 이어 카카오에서도 한국어 특화 AI 언어모델 ‘KoGPT’를 공개했습니다. KoGPT는 GPT-3의 한국어 특화 버전으로 60억개의 매개변수와 2,000억개 토큰(token)의 한국어 데이터를 바탕으로 구축했다고 발표했는대요. 특히 카카오에서는 블록체인 기술을 도입해 향후 언어 모델 최대 규모를 100배 이상 더 키울 계획이라고 합니다.
12월
딥마인드, 초거대 AI 언어모델 Gopher 및 검색 기반 거대모델 RETRO 공개
Gopher와 GPT-3, 인간 전문가 능력 비교, 출처
Gopher는 딥마인드가 자체 개발한 초거대 AI 언어모델입니다. 오픈AI의 GPT-3보다 큰 2,800억개 매개변수로 구성되었죠. 게다가 기존 초거대 언어모델을 능가하는 성능을 보여준다고 합니다.
RETRO 개념도, 출처
이어서 함께 공개한 RETRO(Retrieval-Enhanced Transformer)는 검색을 기반으로 한 거대모델입니다. 모든 정보를 기억해야 하는 기존 모델들과 달리 외부 메모리를 사용하는 새로운 방식의 언어모델이죠. 이렇게 외부 메모리 활용을 통해 25배 정도 큰 기존 모델에 필적하는 결과를 보여주는 것은 물론 초대형 모델을 훈련하는 필요한 시간과 비용까지 대폭 줄여준다고 합니다.
ディープマインドが掲げる6つの倫理的カテゴリーは ソース
DeepMindは、超大規模言語モデルの使用に関連する倫理的問題に関する論文も発表しました。言語モデルで発生しうる倫理的・社会的リスクを予測し、既存の研究を参考にしてこれらのリスクの包括的な分類法を作成したと言われています。その結果、上の図のように、6つの主題分野と21のリスク要因が提示されました。
カカオが超巨大AIマルチモーダル（マルチモーダル）「Mindall-e」を発表
AIが指示を理解して作成した画像、 ソース
カカオは超大型韓国語モデル「KogPT」に続き、テキストと画像を同時に理解するマルチモーダルを開発しました。オープンAI (オープンAI) の「DALL-E」は誰でも簡単にアクセスできる小型モデルで、「Mindall-e」と呼ばれています。さらに、今後、さまざまなモデルがリリースされるなど、今後サービスの拡大が見込まれます。
参考文献
[1] 人工知能向けディープラーニング (ACM ジャーナル) https://cacm.acm.org/magazines/2021/7/253464-deep-learning-for-ai/fulltext
[2] 人工知能向けディープラーニング (著者によるディスカッションビデオ) https://vimeo.com/554817366
[3] コードを一人でプレイしますか？さあ、AIで遊ぼう！ https://maily.so/1step/posts/0f41a5
[4] スタンフォード大学の研究者、「大規模言語モデルは偏見を強め、深刻な環境汚染を引き起こす」 http://www.aitimes.com/news/articleView.html?idxno=140210
[5] ファンデーションモデルの機会とリスクについて https://arxiv.org/abs/2108.07258
[6]「テスラAIデー」...」半導体、スーパーコンピュータ、ロボットを自分で作ろう」https://www.etnews.com/20210820000176
[7] テスラ AI デイビデオ https://youtu.be/j0z4FweCy4M
[8] ACL-IJCNLP 2021はちょうど終わりに近づきました...アジアにおける自然言語処理開発の発展の可能性を確認 http://www.aitimes.com/news/articleView.html?idxno=140049
[9] 高麗大学のイ・ジンヒョク博士は、プリンストン大学で自然言語処理用の人工知能を開発しています...リアルタイム質疑応答 (Q&A) モデル「AI デンスプレー」 http://www.aitimes.kr/news/articleView.html?idxno=22015
[10] 表現の高密度表現を大規模に学ぶ https://arxiv.org/abs/2012.12624
[11] https://github.com/princeton-nlp/DensePhrases
[12] フェイスブックが一人称視点AI開発プロジェクト「EGO4D」を発表...」人工知能には主観性がある」 http://www.aitimes.com/news/articleView.html?idxno=141051
[13] Ego4D：3,000時間のエゴセントリックビデオで世界一周 https://arxiv.org/abs/2110.07058
[14] Ego4D：あなたの目を通して世界を表現するAIoTを教える https://youtu.be/taC2ZKl9IsE
[15] DeepMindのAIにより、90分以内の天気予報の精度が大幅に向上しました https://www.technologyreview.kr/deepminds-ai-predicts-almost-exactly-when-and-where-its-going-to-rain/
[16] レーダーの深層生成モデルを用いた巧みな反復ナウキャスティング https://www.nature.com/articles/s41586-021-03854-z
[17] カカオブレイン、韓国の超巨星人工知能言語モデル「KogPT」を発表 https://www.kakaocorp.com/page/detail/9600
[18] 大規模言語モデリング：Gopher、倫理規律、検索 https://www.deepmind.com/blog/article/language-modelling-at-scale
[19] 言語モデルのスケーリング：Gopherのトレーニングからの方法、分析、洞察 https://storage.googleapis.com/deepmind-media/research/language-research/Training%20Gopher.pdf
[20] 解毒言語モデルにおける課題 https://deepmind.com/research/publications/2021/Challenges-in-Detoxifying-Language-Models
