넷마블, 업계 최초로 여러 캐릭터에 음성·얼굴 애니메이션 동시 학습시키는 AI 기술 개발

넷마블이 게임업계 최초로 복수의 게임 캐릭터에 음성과 얼굴 애니메이션을 학습시키는 AI 기술 개발에 성공했다. 이를 개발에 활용할 경우 보다 더 많은 캐릭터의 얼굴 애니메이션 생성이 가능해 개발 기한을 단축시킬 수 있을 전망이다.

넷마블은 최근 미국 LA에서 개최된 '시그라프 2019(SIGGRAPH 2019)'에서 음성에 맞춰 더욱 자연스러운 얼굴 애니메이션을 자동으로 생성할 수 있는 '다중작업 방식 음성 기반 얼굴 애니메이션 (Multi-Task Audio-Driven Facial Animation, 이하 MTADFA)' 기술이 담긴 논문을 발표했다. '시그라프'는 컴퓨터 그래픽 분야에서 세계적인 권위를 인정받는 행사로 알려져 있다.

이 행사에서 넷마블 AI센터 안수남 팀장은 관련 논문을 발표하며 "넷마블이 업계 최초로 'MTADFA' 기술을 개발했다"고 밝혔다.

넷마블이 '시그라프 2019'에서 발표한 'MTADFA' 기술 개념도

MTADFA는 넷마블이 자체적으로 개발한 딥 뉴럴 네트워크인 멀타넷(MulTaNet: Multi-Task Deep neural Networks)을 활용한 기술이다. 실험 데이터에서 제공하는 14명의 서로 다른 캐릭터의 음성·얼굴 애니메이션을 동시에 학습하고 이를 활용, 더 많은 캐릭터의 얼굴 애니메이션을 확장·생성할 수 있다는 것이 가장 큰 특징이다.

안수남 팀장은 "인공지능이 자동으로 얼굴 애니메이션을 생성하기 위해선 먼저 음성과 애니메이션이 짝지어진 예시를 보며 학습하는 과정이 필요하다"며 "넷마블의 차세대 기술인 MTADFA는 인공지능이 더욱 다양한 예시를 학습할 수 있도록 해, 기존 대비 더욱더 자연스럽고 안정적인 애니메이션을 생성할 수 있다"고 설명했다.

또, "새로운 언어 음성을 입력할 때도 입술 움직임을 동기화하는 능력이 우수해 다국어 지원 게임을 개발할 때에도 활용도가 높을 것"이라고 강조했다.

각 개별 캐릭터를 따로 학습시켜야만 하는 기존 방식은 인공지능에 충분한 데이터를 제공하지 못해 최종 생성된 애니메이션에서 떨림 현상이 발생하거나 새로운 언어에 대한 동기화가 맞지 않는 등의 문제점이 있었다. 넷마블은 이를 해결하고 진화시키는데 초점을 맞췄다.

넷마블 AI 센터 오인수 실장은 "음성 입력에 맞춰 자연스러운 얼굴 애니메이션을 자동 생성해주는 기술 개발을 통해 이용자에게 더 높은 생동감과 몰입감을 제공하는 모바일 게임을 개발할 수 있으리라 기대한다"며 "많은 시간과 노력이 필요한 애니메이션 등 아트 제작 과정도 자동화할 수 있어 개발 효율성이 더욱 향상될 것으로 전망한다"고 덧붙였다.

넷마블은 향후 자사의 게임에 이 기술을 우선 적용할 계획이다.

한편, 넷마블의 AI센터는 넷마블의 인공지능 게임 기술 연구 및 개발을 진행하는 전담 조직이다. 인공지능 기반으로 게임 서비스 및 운영을 고도화하는 콜럼버스 프로젝트, 게임 및 인공지능 플레이어 개발 역량을 강화하는 마젤란 프로젝트 등 넷마블의 지능형 게임 기술을 개발을 이끌고 있다.

서정근 머니투데이방송 MTN 기자