MPEG에서는 다시 10~20년 이후까지에도 코덱의 짱을 먹기 위해서....
MPEG-H 를 진행하자마자 바로 MPEG-I를 진행하기로 하는군요

MPEG-H 의 3D 오디오는 연구실 선배님들이 제안한 기술이 표준으로 등록되는 등
학교와도 깊은 인연이 있는 표준입니다.
MPEG-H 3D 오디오 표준은 UHDTV와 같이 높은 품질의 영상 컨텐츠에 대응하는
오디오를 제공하기 위한 표준이였는데요,

이번에 표준화가 진행되는 MPEG-I (Immersive) 는 최종적으로는 VR과 AR 에 적합한
비디오와 오디오를 제공하기 위하여, 미디어의 취득, 부호화/복호화, 렌더링방법 과
비디오 오디오간의 상호운용성, 스트리밍과 관련된 내용, end-to-end 시스템에 대한 고려
등이 포함된 거대한 표준입니다.
(MPEG-H 3D 오디오도 복호화/부호화 뿐만 아니라 각 재생단에 적합한 렌더링 기술,
객체 오디오, HOA, DRC, Binaural renderer 등 매우 많은 기술이 들어가는 거대한 기술입니다
MPEG-I는 이러한 기술들을 모두 포함할 뿐만 아니라....)

특히, VR 과 AR 에는 사용자들의 현실감 높은 경험을 위하여
6자유도의 움직임에 대응하는 미디어와 오디오를 제공해야 합니다.제공해야합니다.
6자유도란 x축을 중심으로 한 회전인 피치 (pitch), y축을 중심으로 한 회전인 요 (Yaw),
z축을 중심으로 한 회전인 롤 (Roll), x, y, z 축으로의 이동 이렇게 6가지의 독립적인 이동이
가능한 상태라고 보시면 됩니다.

MPEG-I 표준은 오디오와 비디오 모두 아마 2021년까지 표준화가 진행될 것 같습니다.
총 다섯개의 파트로 나눠진 MPEG-I 표준중 오디오와 관련이 있는 파트는 아래 세가지 입니다.

○ Part 1 - Technical Report on Immersive Media: TR (Technical Report) 로서 MPEG-I 표준화 과정에 사용될
용어를 정의하고, 이머시브 미디어에 대한 경험을 정량적, 정성적으로 평가하기 위한 체계를 정립한다.
또한 사용자가 개인화된 이머시브 미디어를 경험하게 할 수 있는 모든 구성요소인 부호화 및 복호화, 미디어
전송체계, 각 재생단에서의 고려사항 등에 대한 참고자료로 사용 될 것. 또한 end-to-end 시스템에 대한
상호 정합성에 대한 참고자료와  오디오 비디오, 그래픽과 시스템간의 상호 운용성에 대한 자료를 제공.
Use case를 통하여 비디오 및 오디오 프로파일에서 필요한 요구사항을 정의한다.
○ Part 2 - Application Format for Omnidirectional Media: Onmidirectional viewing 경험을 제공하기 위한
미디어 컨텐츠의 저장과 전성에 대한 포맷을 정의한다. 비디오 및 오디오 프로파일과 메타데이터
그리고 DASH 와 MMT 기술로 encapsulation 하여 전송을 가능하게 하는 방법들이 고려된다.
○ Part 4 - Immersive Audio: 6자유도의 오디오의 코딩 기술을 제공하는 것이 목적. 
사용자들에게 더욱 현실적인 오디오를 제공하기 위한 오디오 취득 기술과 부호화 및 복호화 기술,
메타데이터 관련 기술 등이 포함된다.

아직 오디오 표준화일정은 자세한 일정이 잡혀있지 않는데요 (비디오는 이미 어느정도 잡혀있는 상태입니다)
자세한 일정은 Part 1 에 대한 논의가 진행되고 나서야 결정될 것 같습니다.

현재까지 나온 이야기들을 살펴보면, 본 표준에서는 오디오와 관련된 모든 기술들이 거의 다 포함되어야할 것 같습니다.
MPEG-H 3D 오디오 이전 표준화과정에서 이슈가 되었던 오디오 신호의 부호화/복호화와 스트리밍을 위한 기술,
MPEG-H 3D 오디오에서 추가된 HOA 및 객체오디오, DRC, 바이노럴 렌더링 등의 기술 뿐만 아니라
가상/실제의 공간을 모델링하는 기술도 들어가고, 오디오 객체를 모델링하는 기술들도 들어가고,
VR과 AR 상황에 적합하도록 기존 MPEG-H 3D 오디오에 포함된 바이노럴 렌더링 기술을 수정할 필요도 있습니다.

최근 거대 기업들도 VR 및 AR환경에서 시장을 선점하기 위해서 위 기술들을 필사적으로 제작중인데요
(페이스북, 구글, 유투브, 소니 등등)
자기네 기술을 표준에 넣기 위해서 어떻게 싸울지를 팝콘과 함께......

이상 새로운 진행상황이 있으면 알려드리도록 하겠습니다.!
profile