인공지능은 인류의 미래에 새로운 가능성을 열어주고 있습니다. 한편 기술의 발전 속도를 제도와 규범이 따라가지 못하다보니 데이터와 프라이버시의 보호, 알고리즘 편향과 같은 윤리적인 리스크도 커져버렸죠.
이제 AI 윤리는 관련 연구 및 비지니스의 존립과 성패를 좌우할만큼 결정적인 요소가 되었습니다. 사회에 미칠 큰 영향력으로 인해 연구자와 기업을 비롯한 관계자 모두가 짊어져야 할 사회적 책임이 된 것입니다.
인공지능의 윤리성 문제
지난 2016년 마이크로소프트의 AI 챗봇 테이(Tay)가 이와 관련한 논란을 일으킨 바 있습니다. 비뚤어진 성향을 가진 일부 사람들로부터 비속어와 차별 발언까지 학습해 버린 테이가 인종차별 등 혐오 표현을 쏟아낸 겁니다.
AI 챗봇 Tay, 이미지 출처
얼마전 우리나라에서도 이루다 사건으로 AI의 윤리 문제가 뜨거운 이슈가 된 적이 있습니다. 개인정보 등 미흡한 프라이버시 보호, 편향된 데이터 학습 등 복합적인 문제들로 인해 미처 예상하지 못한 시행착오를 겪은 것이죠.
이렇듯 이루다와 테이의 사례는 우리 모두에게 AI 윤리의 중요성을 일깨워줬습니다.
다만 인공지능은 어떤 윤리를 갖춰야 하는가에 대해서는 앞으로 더 많은 고민이 필요해 보입니다. 사실 윤리 문제는 인간으로서도 쉽게 판단하기 어려운 모호하고 애매한 부분이 많으니까요. 더구나 이제 스스로 학습하는 인공지능의 윤리를 인간이 어디까지 관리할 수 있는가도 의문입니다.
그래서 오늘은 AI 모델의 성능 측정이 아닌, 윤리성을 검증하기 위한 데이터셋을 알아보며 이 문제에 관해서도 더 생각해봅니다.
THE ETHICS DATASET
추상적인 가치인 윤리성을 객관적으로 수치화하는 것은 분명 어려운 일입니다. 이미 잘 알려져있다시피 윤리성에 대한 기준은 지역, 문화, 심지어 개인에 따라서도 달라질 수 있기 때문이죠.
ETHICS(Everyday moral intuitions,Temperament, Happiness, Impartiality, and Constraints, all in contextualizedScenarios)는 이 난제를 해결하기 위해 고안된 AI 모델의 윤리성을 측정할 수 있는 데이터셋입니다. 윤리성에 관해서는 다양한 기준과 접근 방법들이 있기에 ETHICS는 인간의 보편적인 윤리와 가치를 기준으로 만들었다고 합니다.
구체적으로는 정의(justice), 의무론(deontology)*, 덕 윤리(virtue ethics)**, 공리주의(utilitarianism)***, 상식 도덕(commonsense morality)의 다섯 가지 시나리오로 구성되어져 있습니다. 또한 각 시나리오 별 데이터에는 해당하는 예시문과 라벨이 있는데, 이를 이진 분류(Binary Classification)**** 문제로 변환하여 수치화할 수 있도록 고안되었습니다.
아래는 5가지 시나리오 중 정의(justice) 데이터의 예시입니다.
출처: Aligning AI With Shared Human Values
정의 데이터는 공정성(Impartiality)과 자격(Desert)의 2가지를 고려합니다. 위 이미지처럼 해당 문장이 합리적인지 아닌지에 따라 라벨링하게 되고, 정의의 2가지 요소에 따라서도 해당 문장은 달라지게 됩니다.
아래는 ETHICS를 이용해 다양한 실제 AI 언어 모델들을 대상으로 진행한 평가의 결과입니다.
출처: https://github.com/hendrycks/ethics
대부분 모델들의 평가 수치가 그리 좋지 못한 것을 볼 수 있습니다. 아마도 아직까지는 대부분의 모델 학습 과정에서 윤리성에 대한 고려가 부족했던 것으로 보이며, 이후 계속해서 개선해 나가야 할 과제가 되어야 할 것 같습니다.
마무리하며
스티븐 호킹, 일론 머스크 등이 서명한 것으로 유명한 아실로마 AI 원칙*****의 첫 번째가 바로 `인공지능 연구의 목표는 방향성이 없는 지능을 개발하는 것이 아니라, 인간에게 유용하고 이로운 혜택을 주는 지능을 개발하는 것이다.` 였습니다.
지금까지는 AI의 성능 향상을 위한 연구에 집중하다 보니 아무래도 윤리성에 대한 고민은 많이 부족했던 것이 사실입니다. 하지만 다가오는 AI와 공존하는 미래에 대비하기 위해서도 앞으로는 ETHICS와 같은 윤리성에 대한 연구가 더 많이 필요할 것입니다.
References
[1] ALIGNING AI WITH SHARED HUMAN VALUES: https://arxiv.org/pdf/2008.02275.pdf
[2] Github: https://github.com/hendrycks/ethics
함께보면 좋은 콘텐츠
기계 번역 성능을 평가하는 BLEU 스코어인공지능 윤리: 01. 인공지능도 윤리가 필요할까? 인공지능 윤리: 02. 인공지능 윤리 여기까지인공지능 윤리: 03. 사람중심 AI와 LETR 윤리원칙
