GIST, 웨어러블 장치 없이 실제처럼 자연스런 가상현실(VR)기술 개발

왼쪽부터 김경중 교수, 박사과정 주호택·이성하 학생. (사진=GIST)

가상현실(VR)이 체험자가 실제와 거의 동일하게 느낄수 있도록 하는 새로운 기술이 개발돼 주목을 받고 있다.

광주과학기술원(GIST)은 융합기술학제학부 김경중 교수 연구팀이 기존의 웨어러블 센서에 의존하던 방식에서 벗어나 고해상도 카펫형 촉각 센서로 사용자의 발 압력 데이터를 상세하게 분석하여 행동을 인식하는 기술을 개발했다고 31일 밝혔다.

가상현실에서의 자연스러운 이동은 VR 환경의 몰입감과 상호작용성을 크게 향상시키는 기본적인 요소로서 이 분야에 대한 다양한 연구가 진행되어 왔으나 해결이 필요한 문제가 여전히 남아 있었다.

가장 큰 문제는 가상 공간과 달리 현실 공간에는 물리적 한계가 존재한다는 것이다.

그러나 기존 연구 방법은 사용자의 센서 착용이 필수적이며, 이때 착용된 센서는 사용자의 움직임을 불편하게 할 수 있다. 사용자의 편의성을 위해서는 센서 착용 없이도 사용자의 행동을 정확하게 인식하는 기술이 필요하다.

연구팀은 센서를 통해 얻어진 고해상도 발 압력 데이터를 처리하기 위해 비전 트랜스포머 기반의 새로운 인공지능 모델인 ‘자가 학습 비전 트랜스포머(Self-Teaching Vision Transformer, STViT)’를 개발해 유사한 동작도 정확하게 구분할 수 있도록 했다.

이번 연구 성과는 사용자 인터페이스와 상호작용 방식 측면에서 VR 기술의 수준을 한 단계 끌어올릴 수 있는 중요한 진전을 의미하며, VR을 이용한 교육, 의료, 엔터테인먼트 등 다양한 분야에서의 활용이 기대된다.

제안한 알고리즘을 통해 VR 게임을 즐기는 유저의 모습. 사용자가 센서 위에서 제안한 알고리즘을 통해 다양한 행동을 하며 VR 게임에 몰입하고 있는 모습으로, 첫 번째 사진은 사용자가 게임하고 있는 사진이며, 두 번째, 세 번째, 네 번째 사진은 사용자가 보고 있는 VR 화면이다. (사진=GIST)

무엇보다 이 기술은 VR 환경에 대한 사용자의 자연스러운 몰입을 돕는다. 정교한 동작 인식 기능은 사용자의 손과 발의 움직임을 정확하게 포착하여 가상 세계에서의 상호작용을 실제와 같이 자연스럽게 만들며 VR 경험의 질을 한층 더 끌어올리는 역할을 할 것으로 기대된다.

김경중 교수는 “이번 연구 성과는 웨어러블 장치 없이도 사용자의 동작을 더욱 자연스럽고 편안하게 인식할 수 있는 인터페이스로서의 활용이 기대된다”며 “가상현실에서의 자연스러운 이동성 문제를 해결하고, 더 몰입감 있는 사용자 경험을 제공할 수 있는 새로운 가능성을 열 것으로 기대한다”고 말했다.

GIST 융합기술제학부 김경중 교수가 지도하고 박사과정 이성하·주호택·최윤호, 석사과정 정인식·박동혁 학생이 수행한 이번 연구는 ‘GIST-MIT AI국제협력사업’ 및 ‘지역의 미래를 여는 과학기술 프로젝트 사업’의 지원을 받았으며, 세계적 학술대회 ‘IEEE VR Conference 2024’와 한국정보과학회 주관 Top Conference 세션(2024.6.27.)에서 발표했다.