설계독학맛비 YouTube/02 Xilinx FPGA

[AI-Based Super Resolution HW IP] Deepfield-SR 을 소개합니다.

반응형

안녕하세요. 맛비입니다.

제가 약간의? 개발 지분을 가지고 있는 제품을 소개하려고 합니다.

HW 관련 기술적인 내용은 설계독학유튜브에서도 다룰 예정입니다.

오늘은 기술 이야기는 빼고 가벼운 마음으로 적습니다.

세부적인 내용이 궁금하시다면?!

사장님이 직접 작성하신, 원문은 다음 링크를 참고하셔요. 자세하고 알찬 정보가 있습니다.

https://www.notion.so/DeepField-SR-AI-based-Super-Resolution-Accelerated-by-FPGA-21bc7d177d6f47cb8eae194c8e1af2f8

DeepField-SR: AI-based Super Resolution Accelerated by FPGA

 

 

뭐하는 제품 일까요??

저화질 영상을 고화질 영상으로 바꿔주는 겁니다. Upscale 이라고 합니다.

기존의 Upscale 알고리즘으로는 Bicubic 이 대표적이죠.

AI 가 발달하면서, 이 Upscale 을 AI based 로 시도하는 움직임이 있었습니다.

그리고 AI 기반의 Upscale 은 영상을 복원하는 수준까지 올라왔죠. 그러면서 신조어가 탄생하는데...

전문용어로 SR (Super Resolution) 이라고 불러요.

왼쪽이 Bicubic 이고, 오른쪽이 이번에 만든 제품입니다. (차이가 느껴지시나요...????????? 아닌감..;;)

AI-Based 의 Super Resolution 이 휴리스틱한 알고리즘보다 화질이 좋다는 것은 학계에서도 기정사실화 되었습니다.

세계의 많은 연구원 분들이 이 화질을 올리기 위해서 노력하고 있어요.

그리고 경쟁하죠. NTIRE Challege 에서요. (나름 이쪽분야에서는 유명한 학회입니다.)

https://data.vision.ee.ethz.ch/cvl/ntire21/

 

NTIRE2021: New Trends in Image Restoration and Enhancement workshop and challenges on image and video restoration and enhancemen

Image restoration, enhancement and manipulation are key computer vision tasks, aiming at the restoration of degraded image content, the filling in of missing information, or the needed transformation and/or manipulation to achieve a desired target (with re

data.vision.ee.ethz.ch

 

 

상용화가 어려웠던 이유

아시다시피, AI 의 가장 치명적인 문제점은 연산량입니다.

이 연산량을 커버하기 위해서, GPU, FPGA, NPU 가 각광받고 있죠.

하지만 숫자상의 TOPS (Tera Operations Per Second) 만으로 성능을 평가하기 어렵습니다.

즉, TOPS != (처리할 수 있는 연산량) 이다 라고 단순히 생각할 수 없는거죠.

Bandwidth 나, Architecture 같은 요소 또한 중요합니다.

결국 TOPS 만 앞세운 GPU 와 NPU 는 모든 솔루션을 고속으로 처리할 수 없었습니다.

그리고 GPU 는 1대당 가격과 Power 소모가... 어마무시하죠.

그래서 선택한 솔루션은..?

그래서 FPGA 에 Custom 한 AI core 를 올렸습니다.

Custom 한 Core 이기 때문에, 빠릅니다.

그리고 FPGA 이기 때문에 GPU 대비 전력 소모도 낮습니다.

정확하게 연산량 대비 Cost 가 월등하게 낮죠.

FPGA 의 가장 큰 단점은 바로... 개발 시간과 난이도 입니다.

이 난이도는 숙련도로 커버할 수 있지만, HW 제품의 특성상 개발 시간은 어떻게 안됩니다.

난이도는 줄이고 개발기간을 단축할 수 있는 것은..?

그걸 가능하게 하는것이 HLS 입니다.

FPGA 개발은 어떻게 하지....?

FPGA 를 개발할 때 상상하는 모습은 바로.. 이런 모습 아닐까요..?

요즘은? 이렇게 안합니다.

Cloud Data Center (서버) 에 FPGA 가 있기 때문이죠.

Cloud 에서 서비스 했을 때 장점은 서비스 한만큼 과금을 하고, 증설시 힘안들이고 할 수 있다는 점입니다.

 

현재 베타서비스를 운영중입니다.

AWS 의 f1 instance (FPGA 가 있음.) 를 사용하여 서비스를 운영중입니다.

무료로 테스트 해보실 수 있어요.

http://kokoon.cloud/

 

Kokoon

 

www.kokoon.cloud

 

써보시고 많은 홍보? + 피드백 부탁드립니다.

더 좋은 제품을 만드는 밑거름이 되요.

해당 내용은 유튭에서 자세히 다루도록 하겠습니다. 많은 관심 부탁드립니다! 

반응형