카카오 AI, 독해 점수 인간보다 높아
카카오 AI, 독해 점수 인간보다 높아
  • 이상진
  • 승인 2019.02.06 14:20
  • 조회수 2160
  • 댓글 0
이 기사를 공유합니다

카카오는 자체 개발한 AI 언어모델이 한국어 학습 데이터 'KorQuAD(The Korean Question Answering Dataset)'를 바탕으로 한 기계 독해 능력 평가에서 91.85점을 받으며 1위를 차지했다고 밝혔습니다.

 

이는 평가 주최인LG CNS가 인간의 문장 판별 및 독해 능력 수준(Human Performance)이라고 밝힌 91.20점보다 0.65점 높은 수치로, AI가 인간보다 높은 점수를 기록한 것은 처음인데요.

 

AI가 한국어 독해에서 인간을 제치고 1등! 출처: pixabay

LG CNS가 운영하는 기계 독해 능력 평가는 美 스탠포드 대학에서 시작된 AI 언어지능 연구용 질의응답 학습 데이터셋인 SQuAD(The Stanford Question Answering Dataset)와 동일한 방식으로 구현됩니다. 

 

LG CNS는 지난해 12월  한국어학습을 위한 데이터인 KorQuAD를 구축해 오픈소스로 공개했으며, 누구나 이를 바탕으로 학습한 자체 개발 AI 언어모델을 제출해 성능을 공식 평가 받을 수 있도록 했습니다. 평가는 데이터셋에서 추출한 내용을 질문으로 제시하고, 이에 대해 개발 모델이 답을 찾아내는 방식으로 이루어졌는데요. 

 

예를 들어 "아이유는 1993년 5월 16일 서울특별시에서 태어났으며, 경기도 하남시와 의정부시를 거쳐 서울특별시 광진구에서 자랐다. 초등학교는 하남시의 하남천현초등학교에서 3학년까지 다니다가 서울 광진구의 서울양남초등학교로 전학을 가서 졸업하였다"와 같은 지문이 주어지고, "아이유가 졸업한 초등학교는 어디인가?"라는 질문에 대해 "서울양남초등학교"라는 정답을 찾아내는 식입니다.



이번에 평가받은 카카오의 AI 언어모델(모델명: BERT LM fine-tuned (single) + KHAIII)은 구글의 AI 언어모델 BERT(Bidirectional Encoder Representations from Transformers)에 카카오의 형태소 분석기 'khaiii(Kakao Hangul Analyzer III)’를 접목한 것으로, 조사의 사용과 어미의 다양한 변형 등 한국어의 고유 특성에 최적화된 것인데요. 

 

카카오는 딥러닝 기반 형태소분석기 khaiii를 오픈소스로 공개하기도 했습니다. 출처: pixabay

카카오는 지난해 말 딥러닝 기술 기반의 형태소 분석기 khaiii를 국내 최초 오픈소스로 제공하는 등 국내 AI 기반 언어지능 연구 발전을 위해서도 노력하고 있습니다.



김응균 카카오 자연어처리파트의 파트장은 "이번 평가 결과는 카카오의 인공지능 자연어 처리 기술을 활용해 인간의 독해 능력을 넘어서는 최초의 모델을 구현했다는 점에서 높이 평가받을만 하다"며 "금번 개발한 언어모델 기술을 스마트 스피커 카카오미니에 적용하기 위한 연구를 진행 중"이라고 전했습니다.


댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.

  • 충청남도 보령시 큰오랏3길
  • 법인명 : 이웃집과학자 주식회사
  • 제호 : 이웃집과학자
  • 청소년보호책임자 : 정병진
  • 등록번호 : 보령 바 00002
  • 등록일 : 2016-02-12
  • 발행일 : 2016-02-12
  • 발행인 : 김정환
  • 편집인 : 정병진
  • 이웃집과학자 모든 콘텐츠(영상,기사, 사진)는 저작권법의 보호를 받은바, 무단 전재와 복사, 배포 등을 금합니다.
  • Copyright © 2016-2024 이웃집과학자. All rights reserved. mail to contact@scientist.town
ND소프트