인공지능(AI) 통해 풀HD영상 4K UHD로 실시간 변환 한다
인공지능(AI) 통해 풀HD영상 4K UHD로 실시간 변환 한다
  • 김수아 기자
  • 승인 2018.01.16 10:47
  • 댓글 0
이 기사를 공유합니다

초당 60프레임으로 변환해 초고품질 UHD TV, 360 VR, 4K IPTV 등에 적용 가능
좌)기존 업스케일링 기술, 우)AI(딥러닝) 적용 업스케일링 적용 이미지 비교

최근 가전 TV 시장은 퀀텀닷(양자점), 유기발광 다이오드(OLED) 등 차세대 기술 경쟁이 치열해지고, 소비자의 눈높이를 맞추기 위해 4K UHD (3,840✕2,160) 해상도가 주류 해상도로 자리 잡았다. 특히 우리나라는 2017년 5월 31일자로 세계최초로 지상파 4K UHD TV 본방송을 시작하였고, IPTV 및 케이블 방송 분야에서 초고선명 4K UHD 서비스를 제공하고 있다.

그러나 아직 4K UHD 방송 콘텐츠 완벽한 제작 준비 부족과 제작 비용 부담 등으로 인해 4K UHD 방송 콘텐츠가 턱없이 부족한 실정이며, 현재의 HD급 DTV 방송 콘텐츠를 4K UHD TV 단말에 고품질로 업스케일하여 디스플레이하여 시청 품질을 향상 시키는 기술이 절실하다.

이를 해결하기 위해서는 기존의 Full-HD (1920✕1080) 영상을 활용하는 새로운 접근법이 필요하다. 이때, 저해상도 영상(Full HD)으로부터 고품질의 고해상도 영상(4K UHD)을 생성할 수 있는 초해상화 (Super-Resolution, SR) 또는 업스케일링 기법이 있다. 업스케일링 기법 중에 많이 알려진 방식으로 보간 기법, 학습 기반 머신러닝 기법 등이 있으며 이에 대한 연구가 활발하게 이루어져 왔다.

실시간 AI(딥러닝) 기반 고속 초고해상도 업스케일링 개요

최근에는 딥러닝 기법을 이용한 연구가 영상 인식/분석 등 패턴 인식 및 컴퓨터 비전 분야에서 활발히 이루어지고 있다. 또한, 딥러닝을 이용한 기술이 영상 화질 개선 분야의 하나인 업스케일링 (초해상화) 기법에서도 학습 기반 머신 러닝 기법보다 뛰어난 성능을 보이고 있다. 딥러닝을 이용한 기술 중 특히, 심층 콘볼루션 신경망(CNN) 기술을 적용한 업스케일링이 화질 성능에 괄목할 성과들을 보여주고 있다.

하지만 이러한 심층 콘볼루션 신경망 기술을 UHD TV와 같은 초고해상도 영상에 적용하기에는 연산 복잡도 매우 높고 사용되는 메모리 양이 매우 커서 실시간으로 영상 데이터를 처리하는데 많은 어려움을 겪고 있었다. 따라서 가전 TV 시장에의 주류 해상도인 UHD 해상도를 실시간으로 처리하는 업스케일링 알고리듬과 이를 지원하는 하드웨어 개발이 필요한 실정이다.

이런 가운데 KAIST(총장 신성철) 전기및전자공학부 김문철 교수 연구팀이 딥러닝 기술을 이용해 풀 HD 비디오 영상을 4K UHD 초고화질 영상으로 초해상화 변환할 수 있는 기술을 개발했다. 이 기술은 인공지능의 핵심 기술인 심층 콘볼루션 신경망(Deep Convolutional Neural Network, DCNN)을 하드웨어로 구현한 것이다.

심층 신경망 AI 기반 4K UHD 60fps 실시간 업스케일링 하드웨어 (FPGA)

초당 60프레임의 초고해상도 4K UHD 화면을 실시간으로 생성할 수 있는 알고리즘 및 하드웨어 개발을 통해 향후 프리미엄 UHD TV, 360 VR, 4K IPTV 등에 기여할 것으로 기대된다. 이번 연구는 KAIST 전기및전자공학부 김용우, 최재석 박사과정 등이 주도했고 현재 특허 출원을 준비 중이다.

AI 기반 HDR 영상 생성 기술

최근 영상 화질 개선 연구에 인공지능의 핵심 기술인 심층 콘볼루션 신경망을 적용시키려는 노력이 활발히 이뤄지고 있다. 그러나 이러한 심층 콘볼루션 신경망 기술은 연산 복잡도와 매우 높고 사용되는 메모리가 커 작은 규모의 하드웨어를 통해 초고해상도 영상으로 실시간 변환하는 데 한계가 있다. 기존의 프레임 단위로 영상을 처리하던 방식은 DRAM과 같은 외부 메모리 사용이 필수적인데 이로 인해 영상 데이터를 처리할 때 지나친 외부 메모리 접근으로 인한 메모리 병목현상과 전력 소모 현상이 발생했다.

AI 기반 HDR 영상 생성 기술

김 교수 연구팀은 프레임 단위 대신 라인 단위로 데이터를 처리할 수 있는 효율적인 심층 콘볼루션 신경망 구조를 개발해 외부 메모리를 사용하지 않고도 작은 규모의 하드웨어에서 초당 60 프레임의 4K UHD 초해상화를 구현했으며, 연구팀은 기존 소프트웨어 방식의 심층 콘볼루션 신경망 기반의 고속 알고리즘과 비교해 필터 파라미터를 65% 정도만 적용하고도 유사한 화질을 유지했다.

김문철 교수(사진: KAIST)

이는 딥러닝 기술을 이용한 고해상도 영상 변환 기술이 활발히 진행되는 가운데 초당 60프레임의 4K UHD 초해상화를 하드웨어로 실현한 첫 사례로 꼽힌다. 김 교수는 “이번 연구는 심층 콘볼루션 신경망이 작은 규모의 하드웨어에서 초고품질 영상 처리에 실질적으로 응요 가능한 기술임을 보인 매우 중요한 사례다”며 “현재 프리미엄 UHD TV 및 UHD 방송 콘텐츠 생성, 360도 VR 콘텐츠, 4K IPTV 서비스에 매우 효과적으로 적용할 수 있다”고 말했다.

Tag

Tag
#N

댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.