'데이터 분할' 고성능 데이터 처리 기술
'데이터 분할' 고성능 데이터 처리 기술
  • 이상진
  • 승인 2019.05.22 11:45
  • 조회수 2259
  • 댓글 0
이 기사를 공유합니다

방대한 데이터를 더 효율적이고 더 빠르게 처리할 수 있는 원천 기술이 DGIST에서 개발됐습니다. 빅데이터와 같이 커져가는 데이터를 처리할 수 있는 효율적인 기술로써 향후 그 활용이 매우 기대되는데요.

방대한 빅데이터를 효율적이고 빠르게 처리할 수 있는 기술이 개발됐습니다. 출처:fotolia
방대한 빅데이터를 효율적이고 빠르게 처리할 수 있는 기술이 개발됐습니다. 출처: fotolia

DGIST는 김민수 정보통신융합전공 교수팀이 관계형 데이터 처리기술인 'GPT(Graph-based Partitioning Table)기술'을 개발했다고 밝혔습니다. 최고의 처리속도를 자랑하는 기존의 처리방식보다도 평균 4배가량 더 우수한 처리 성능을 보여 향후 관련 분야에서 활용될 수 있을 것으로 전망됩니다.

 

관계형 데이터는 여러 산업분야에서 가장 많이 사용하는 데이터 형태로 오늘날 그 규모가 커져 여러 대의 컴퓨터에 분산 저장·처리하는 기술들이 널리 사용되고 있습니다. 

 

현재 관계형 데이터를 분산 처리하는 가장 뛰어난 기술은 '아파치(Apache)'의 '스파크(Spark) SQL'로 그 외에도 여러 처리 기술들이 많이 개발돼 왔습니다. 하지만 이들 기술들 모두 데이터 처리를 위해선 네트워크상에서 연결된 여러 대의 컴퓨터 사이의 많은 양의 네트워크 통신이 필요한 단점을 갖고 있죠.

 

이에 김민수 교수팀은 관계형 데이터를 여러 대의 컴퓨터들에 기존과 다른 방식으로 저장하고 처리하는 방식을 고민했는데요. 그 결과 컴퓨터들 간의 네트워크 통신을 거의 발생시키지 않고도 데이터 분산 처리가 가능한 GPT 기술을 개발해 기존의 데이터 저장 및 처리 기술들이 갖던 문제의 근본적 해결에 성공했습니다.

기존의 Spark SQL와 개선된 GPT 기술 시스템 구조. 출처:DGIST
기존의 Spark SQL와 개선된 GPT 기술 시스템 구조. 출처: DGIST

처리 속도가 빨리진 이유는 데이터를 그래프 위 점과 선의 관계로 모델링했기 때문인데요. 관계형 데이터를 구성하는 각 데이터 테이블을 정점(vertex)으로, 테이블들 간의 조인(join) 관계를 선(edge)으로 설정한 일종의 그래프 데이터로 모델링했습니다. 또 허브(hub) 역할을 하는 데이터 테이블을 기준으로 나머지 데이터 테이블들을 수평 분할해 각 컴퓨터에 나눠 저장했죠. 이를 통해 분산 처리에도 네트워크 통신이 거의 발생하지 않는 장점을 확보하는 것이 가능했습니다.

 

이번에 개발된 김민수 교수팀의 GPT 기술은 업계 표준 벤치마크 방식인 TPC-DS를 이용한 데이터 처리성능 비교에서 아파치 스파크 SQL보다 평균 4.2배 더 빠른 처리속도를 보였는데요. 단순한 이론적 단계를 넘어 실제 산업용 데이터 처리에 짧은 시일 내 상용화가 가능한 수준의 완성도까지 갖췄다는 평가입니다.

김민수 DGIST 정보통신융합전공 교수. 출처:DGIST
김민수 DGIST 정보통신융합전공 교수. 출처: DGIST

김민수 DGIST 정보통신융합전공 교수는 "2010년대 초반, 빅데이터에 흥미를 갖고 시작한 연구가 방대한 양의 데이터를 처리하는 기술 연구로 이어지게 됐다"며 "이번 연구로 확보한 관계형 데이터 처리 기술은 향후 커져가고 있는 데이터의 양과 그 복잡성을 고려해 볼 때, 매우 유용하게 활용될 것으로 기대하고 있다"고 말했습니다. 이번 연구 결과는 <Information Sciences> 4월호에 게재됐습니다.


댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.

  • 충청남도 보령시 큰오랏3길
  • 법인명 : 이웃집과학자 주식회사
  • 제호 : 이웃집과학자
  • 청소년보호책임자 : 정병진
  • 등록번호 : 보령 바 00002
  • 등록일 : 2016-02-12
  • 발행일 : 2016-02-12
  • 발행인 : 김정환
  • 편집인 : 정병진
  • 이웃집과학자 모든 콘텐츠(영상,기사, 사진)는 저작권법의 보호를 받은바, 무단 전재와 복사, 배포 등을 금합니다.
  • Copyright © 2016-2024 이웃집과학자. All rights reserved. mail to contact@scientist.town
ND소프트