산업

가상인간 어디까지 왔나

[머니S리포트- 가상인간 사활 거는 IT업계] ③가상인간 기술 빠르게 진화…기업들 관련 기술 개발에 '사활'

송은정 기자VIEW 8,9242022.05.25 06:50
0

글자크기

연예인과 달리 사생활 등과 관련해 리스크가 없는 '가상인간'이 사회 다방면에서 활동하며 각광을 받고 있다. 금융업을 비롯해 엔터테인먼트업계 등에서 맹활약하고 있는 가상인간은 활용도가 무궁무진하다. 기술 진보 덕분에 더욱 발전하고 있는 가상인간에 대한 관심이 높아지자 이를 신사업 또는 새로운 성장 동력으로 선택하는 기업도 늘었다. 메타버스와 가상현실(VR) 시장이 확대되면 가상인간의 활동 범위는 더 넓어질 전망이다.
크래프톤 버추얼 휴먼 이미지 /사진=크래프톤
크래프톤 버추얼 휴먼 이미지 /사진=크래프톤
AD
◆기사 게재 순서

① 한유아가 누구야… IT업계, 디지털 휴먼 '각축전'

② 각광받는 가상인간… 대체 왜?

③ 가상인간 어디까지 왔나

가상인간 관련 기술이 빠르게 진화하고 있다. 제작 시간도 크게 줄고 실제 인간처럼 정교한 제작도 가능해지고 있다. 얼굴의 근육과 주름 움직임, 머리카락 하나도 세밀한 표현이 가능하게 된 것이다.

가상 인간은 인공지능(AI)과 컴퓨터 그래픽 기술로 대역 배우의 몸에 전혀 다른 얼굴을 입혀 실제 사람과 유사한 모습을 갖춘다. 하지만 가상인간의 얼굴과 몸을 잇는 디지털 작업 기술은 아직 '미흡'한 상황이다.

가상인간과 관련된 많은 기술 중에서 '시각적 효과'만 집중적으로 개발되고 부각돼 있다. 사진 또는 뮤직비디오에 등장하는 가상인간은 얼굴만 디지털 기술로 만들어 먼저 촬영한 실제 사람 모델에 덧입혀 만들어진다. 실존 인물의 얼굴에 딥페이크 기술을 적용한 것이다.

안면 근육·신체 관절 움직이는 '리깅' 기술
크래프톤 버추얼 휴먼 제작에 활용된 리깅 기술 / 사진=크래프톤
크래프톤 버추얼 휴먼 제작에 활용된 리깅 기술 / 사진=크래프톤
AD
가상인간의 안면 근육과 신체 관절이 자연스럽게 움직이도록 보이는 것은 '리깅(Rigging)' 기술 덕분이다. 리깅은 캐릭터의 관절과 근육 등의 요소를 세분화해 자유롭게 움직이는 것처럼 보이게 한다.

리깅은 3차원(3D) 컴퓨터 애니메이션에서 캐릭터의 뼈대를 만들어 심거나 할당해 캐릭터가 움직이는 것처럼 보이게 만드는 작업이다. 3D 모델의 뼈 구조를 만드는 건데 이 과정을 세분화할수록 정교한 움직임 표현이 가능하다.

가상인간을 얘기할 때 꼭 등장하는 '불쾌한 골짜기' 이론이란 것도 있다. 실제 인간이 가상인간을 볼 때 매우 유사하다고 생각되는 경우에는 오히려 불쾌감을 느끼게 된다는 것이다. 아무리 사람과 비슷하게 만든 가상인간이라도 실제 사람과 조금이라도 다른 점이 나타나면 대중들이 거부감을 들어내기 때문이다.

이 문제는 최근 유행하는 리깅 기술을 활용하면 해결 될 수도 있다고 본다. 정교한 리깅 작업을 거치면 실제 사람과 매우 흡사한 가상인간을 만들 수 있게 되어서다. 단순히 관절과 근육만 추가하는 작업으로는 섬세한 움직임을 구현하기 어렵지만 뼈의 무게를 가볍게 하고 회전축 범위를 조정하면 자연스러운 움직임 구현이 가능하다.

리깅을 통해 손가락 관절과 무릎, 입술의 주름에도 움직임이 나타날 수 있도록 함으로써 초기 가상인간 또는 로봇들과는 명백한 차별화가 생겼다. 주름 움직임까지 섬세하게 표현하는 그래픽 기술은 실제 인간과 다른 가상인간의 움직임에 대한 거부감을 줄이고 있다.

크래프톤 관계자는 "리깅은 안면 근육을 포함해 가상인간이 신체 모든 부위를 세세히 움직이는 것처럼 보일 수 있는 기술"이라며 "리깅 작업을 얼마나 섬세하게 적용하느냐에 따라 표정과 행동에서 나타날 수 있는 이질감은 줄어 든다"고 설명했다.

기업들 가상인간 제작 관련 기술 개발 '사활'
크래프톤 버추얼 휴먼 제작에 활용된 리깅 기술 / 사진=크래프톤
크래프톤 버추얼 휴먼 제작에 활용된 리깅 기술 / 사진=크래프톤
AD
카카오브레인이 새로운 페이스 스와핑 기술 개발에 성공했다. 페이스 스와핑은 사용자들이 틱톡·스냅챗 같은 사회관계망서비스(SNS)에 사진 등의 게시물을 게재할 때 본인 얼굴을 촬영한 뒤 다른 얼굴로 바꿔서 올릴 수 있도록 하는 기술이다.

카카오브레인이 이번에 새롭게 개발한 기술은 관련 구조를 단순화해 기존 기술보다 빠르고 안정적인 페이스 스와핑이 가능하다. 차별화된 아이덴티티 임베딩(identity embedding)접근 방식을 통해 고품질의 이미지를 생성할 수 있도록 한 것이다.

카카오브레인은 이를 활용해 가상 인플루언서(소셜네트워크에서 많은 팔로워를 보유한 사람), 쇼호스트, 아나운서 등 다양한 분야에서 활동하는 가상인간을 개발할 수 있을 것으로 기대하고 있다.

김일두 카카오브레인 대표는 "새 기술이 페이스 스와핑 기술 분야의 혁신을 가속화해 꿈만 꾸던 메타버스와 미래 가상인간 서비스를 구현하는데 기여할 수 있을 것"이라고 밝히기도 했다.

크래프톤은 연내 공개를 목표로 '가상인간' 제작에 매진하고 있다. 극사실주의(하이퍼 리얼리즘)기술 외에도 AI, 음성합성(TTS, STT), 보이스 투 페이스(Voice to Face) 등을 지속 연구·개발해 가상인간과의 대화도 가능할 수 있도록 한다는 계획이다.

딥러닝 기술도 적용될 예정이다. '딥러닝 팀'은 김창한 크래프톤 대표가 2년 전 대표로 선임된 직후부터 직접 참여해 진두지휘하고 있다. 최근 50여명 규모로 조직을 확대하는 등 인재 확보를 위한 투자에도 아낌이 없다. 가상인간이 완성되면 게임 캐릭터, e스포츠, 버추얼 인플루언서, 가수 등 다방면에 활용할 계획이다.

신석진 크래프톤 크리에이티브 본부장은 "앞으로의 가상인간은 첨단 기술력을 동원한 최고 수준으로 만들어질 것"이라며 "메타버스(확장 가상세계) 등 실제 가상세계에서 스스로 활동할 수 있는 가상인간을 준비해 새로운 진화를 선보일 것"이라고 밝혔다.





상단으로 가기