VMAF (Video Multi-Method Assessment Fusion)

VMAF는 Netflix에서 개발한 video quality assessment algorithm 입니다.

 

압축된 Video (Distorted Video) 와 원본 Video 간의 Visual Quality 유사율의 점수를 내는 방법 중 하나입니다.

VMAF 의 점수가 높으면 원본과, 압축된 Video 사이의  Visual Loss 가 거의 없다 할 수 있습니다. (눈으로 보았을때 원본과 차이가 없다.)

기존의 VMAF 처럼 화질 측정 metric 으로 사용하던 유명한 알고리즘으로는 PSNR, SSIM 등이 있습니다.

 

VMAF 의 가장 큰 장점은 기존 Metric 대비 사람이 느끼는 Quality 경험과 유사한 Score 를 내주는 것에 있습니다.

https://www.visionular.com/en/vmaf-ssim-psnr-quality-metrics/

OTT 영상을 보다보면 Netflix 의 화질이 다른 OTT 업체 (Watcha, 디즈니 등등) 보다 월등히 좋다 라는 느낌을 받습니다.

거기다 끊김도 덜한 느낌이 들고요.

이것이 가능한 이유가 다양한 Video 압축의 결과를 VMAF 를 통해서 Score 를 측정하기 때문입니다.

기본적으로 많은 Bit 양 (Video 파일크기) 을 사용할 수 록 화질이 좋습니다.

Video 압축시 어떤코덱을 사용하는지, 옵션은 어떤지, 제한된 Bit-rate 은 무엇인지 등등... 다양한 압축 Case 가 존재합니다. 여기서 BD-VMAF 그래프를 통해 (사용하는 Bit 량 대비 VMAF Score) 최적의 압축 방법을 선택할 수 있습니다.

예를들어 다음그림에서는 "녹색" 이 BD-VMAF 가 높은 가장 좋은 Video 압축방법입니다. 

이처럼 Netflix 는 최적의 Video 압축방법을 찾았고, 이를 우리에게 Streaming 합니다.

 

VMAF 의 가장 큰 문제점.

VMAF 에도 장점만 존재하는 것은 아닙니다. 가장 큰 문제점은 바로 연산량 입니다.

PSNR 이나 SSIM 대비 연산방법이 굉장히 복잡합니다.

무려 다음과같이 VIF, DLM, Motion, SVM 등.. 다양한 요소들에 대한 연산이 필요합니다.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

앞서 우리는 다양한방법으로 Video 압축을 해봐야한다는 것을 알고있습니다.

이는 곧 많은 VMAF 연산을 의미합니다. 

 

VMAF Score 측정의 연산량 이슈를 HW Solution 으로 극복

BLUEDOT 은 VMAF Score 측정을 CPU 가 아닌 FPGA 에서 합니다.

AWS 의 c5.24xlarge 에서 SW 로 VMAF 를 측정하면 4K33 fps 정도 나옵니다.

Bluedot 의 VMAF 솔루션은 4K67fps 이며, 두개의 Kernel 이 내장되어 있어 실질적으로 4K120fps 이상의 가속을 경험할 수 있습니다.

저도 개발에 참여했고요. 이 글은 VMAF Score 의 이해 및 좋은 솔루션 소개글입니다.

 

VMAF Score 에 대해 이해할 수 있는 글이였으면 합니다.

즐공하세요 :)