동영상에서 본 움직임을 자동으로 포착하고 흉내낼 수 있는 강화학습
동영상에서 본 움직임을 자동으로 포착하고 흉내낼 수 있는 강화학습
  • 정한영 기자
  • 승인 2018.10.24 09:23
  • 댓글 0
이 기사를 공유합니다

cuDNN 가속화 텐서플로우(TensorFlow) 딥러닝 프레임 워크를 사용하여 여러 데이터 세트에 대한 강화학습 시스템을 학습하여 캐릭터의 포즈를 추정하고 다양한 비디오 클립에서 모캡(mocap) 데이터를 추출
강화학습 알고리즘으로 동영상에서 본 움직임을 자동으로 포착하고 흉내낼 수 있다(사진:논문캡처)

버클리 대학(University of California, Berkeley)의 연구원들은 유튜브 동영상에서 본 움직임을 자동으로 포착하고 흉내낼 수 있는 강화학습 기반의 시스템을 개발했다. 데이터 기반 메소드(methods)는 수십 년 동안 모션 애니메이션의 가장 보편적인 소스 중 하나인 캐릭터 애니메이션의 기반이었다. 또한 모캡(Mocap) 데이터는 운동학적 방법의 필수 요소이며, 물리 기반 캐릭터 애니메이션에도 널리 사용되고 있다.

알고리즘은 포즈 추정, 모션 재구성 및 모방의 3 단계로 구성된다.(사진:논문캡처)

연구팀은 엔비디아 GeForce GTX 1080 TI 및 TITAN Xp GPU와 cuDNN 가속화 텐서플로우(TensorFlow) 딥러닝 프레임 워크를 사용하여 여러 데이터 세트에 대한 강화학습 시스템을 학습하여 캐릭터의 포즈를 추정하고 다양한 비디오 클립에서 모캡(mocap) 데이터를 추출했다. 또한 시스템은 비디오 클립을 주면 알고리즘이 각 프레임의 액터의 포즈와 움직임을 추정한다. 이 경우, 이 연구팀은 백플립, 수레바퀴, 심지어 무술과 같은 20개 이상의 곡예 동작을 수행하기 위해 알고리즘을 훈련시켰다.(아래는 4일부터 7일까지 도쿄에서 개최된 ACM SIGGRAPH 컨퍼런스에서 발표된 관련 영상)

한편 이 동영상에서 본 움직임을 자동으로 포착하고 흉내낼 수 있는 강화학습 기반의 시스템은 "SFV: Reinforcement Learning of Physical Skills from Videos"이란 제목으로 지난 15일 아카이브를 통해 발표됐으며, 논문의 핵심은 포즈 추정(포즈 트래킹)과 강화학습을 통합한 비디오 클립에서 캐릭터 제어를 학습하는 시스템으로 이를 가능하게 하기 위해 자세 추적 시스템과 강화학습 알고리즘에 대한 여러 가지 확장 기능을 소개했다.(참고 논문 다운받기)
Tag
#N

댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.