VMAF NEG

 

참고 링크 : https://www.feat.com/zh-CN/dimzou-publication/250236/251083

 

Introduction

VMAF 는 Netflix 에서 만든 지각적 화질 메트릭입니다.

화질평가시 자주 사용하는 Metric 중 하나인데, VMAF 의 문제는 바로 hacking 이 가능하다 입니다.

휴리스틱한 Sharpen Filter 만 적용해도 VMAF Score 가 개선되는 현상이 있고, 그 현상을 방지하기 위해서 VMAF NEG (No Enhancement Gain) 을 추가하게 됩니다.

 

"No Enhancement Gain" 모드

PSNR 및 SSIM과 같은 기존 메트릭과 차별화되는 VMAF의 고유한 기능은 VMAF가 뷰어가 인식하는 주관적인 품질을 향상시키는 것을 목표로 이미지 향상 작업의 시각적 이점을 캡처한다는 것입니다.

 

 

위의 예는 샤프닝(b) 및 히스토그램 균등화(c)가 있는 해당 VMAF 점수와 함께 원본 프레임(a) 및 향상된 버전을 보여줍니다. (VMAF Score 는 올라갔지만, VMAF NEG Score 는 낮게 나오는 것을 확인 할 수 있음)

 Enhancement 작업으로 얻은 시각적 개선이 VMAF 점수에 반영됨을 알 수 있습니다. 

최근에는 품질 최적화된 AV1 인코딩을 수행하기 위한 옵션으로 libaom 라이브러리에 tune=vmaf 모드 가 도입되었습니다. 

이 모드는 주로 비디오 압축 전에 프레임 기반 이미지 선명화를 수행하여 BD 속도 게인(e)을 달성합니다. 

비교를 위해 이미지 샤프닝이 없는 AV1 인코딩은 (d)에 나와 있습니다.

 

 

이것은 VMAF가 비디오 코덱의 인지적 최적화를 어떻게 추진할 수 있는지에 대한 좋은 시연입니다.

그러나 코덱 평가에서 전처리 중 이미지 향상의 이득을 고려하지 않고 압축에서 얻을 수 있는 이득을 측정하는 것이 종종 바람직합니다. (Enhancement 는 Codec 평가시, VMAF Score 의 왜곡을 만듬.)

위의 블록 다이어그램에서 볼 수 있듯이 인코더를 사전 처리 단계(특히 전용 인코더)에서 엄격하게 분리하기 어렵기 때문에 VMAF를 사용하여 순수한 압축 이득을 평가하기 어려울 수 있습니다. 

이 딜레마는 커뮤니티에서 들었던 두 가지 목소리와 잘 들어맞습니다.

사용자는 VMAF가 향상된 이점을 포착할 수 있다는 사실을 좋아하는 것 같지만 동시에 그러한 향상된 기능이 남용(또는 남용)될 수 있다는 우려를 표명합니다 .

코덱의 일부가 아닌 향상 게인을 무시하는 것이 가치가 있다고 생각 합니다. 

또한 증강 이 최종 뷰어가 인식하는 시각적 품질을 향상시킬 수 있다는 사실을 반영하여 증강 이득을 유지하는 것이 많은 경우에 가치가 있다고 생각합니다. 

이 딜레마에 대한 솔루션은 VMAF NEG("neg"는 "증강 이득 없음"을 의미함)라는 새로운 모드를 도입하는 것입니다. 

우리는 다음과 같은 권장 사항을 제시합니다.

• NEG 모드를 사용한 코덱 평가는 압축에서 깨끗한 결과를 평가합니다.
• 압축과 향상의 조합을 평가하려면 "기본" 모드를 사용하십시오.

VMAF NEG 모드는 어떻게 작동합니까? 

간단히 말해서 이미지 향상에서 VMAF 게인의 크기를 감지하고 이 효과를 측정에서 뺄 수 있습니다. 

위 (f)의 그레이스케일 이미지는 tune=vmaf에서 수행되는 이미지 선명화의 크기를 보여줍니다. 

VMAF 점수에서 이 효과를 뺄 수 있습니다. VMAF NEG 점수는 위의 (a)~(e)에도 나와 있습니다. 

NEF 모드에서 향상된 빼기가 VMAF 점수를 크게 감소시키는 것을 볼 수 있습니다. 

VMAF NEG 모드에 대한 자세한 내용은 이 기술 문서 에서 확인할 수 있습니다 .