HW Engineer 가 이야기하는 AI/01 설계에 필요한 AI 지식
CNN (Convolution Neural Network) 연산에 대해 이해해보자. (CNN Explainer)
안녕하세요. 맛비입니다. 오늘은 AI HW 에서 보편적으로 널리 사용되는 연산 중 하나인 CNN (Convolution Neural Network) 을 쉽게 이해할 수 있는 Tool 을 소개해 드리려고 합니다. CNN 연산을 처음 접했을 때, 헷갈리는 부분들이 있었는데요. (2D Convolution 의 확장판..?) 제가 이해하려고 노력했을때도 헷갈린데, 남에게 설명하는건 더 어렵겠죠. 좋은 자료를 찾은 것 같아서 공유드립니다. 바로 CNN Explainer 입니다. poloclub.github.io/cnn-explainer/ CNN Explainer An interactive visualization system designed to help non-experts learn about Convolut..
Grouped Convolution, Dilated Convolution
Intro CNN 을 실제 HW 로 구현하려면 엄청난 MAC 량을 마주할 수 밖에 없습니다. 이는 빠른 detection 이 가능하다고 했던 YOLO 에서도 마찬가지 입니다. 하여 현업에서 네트워크를 학습 및 구현하려고 할때, Convolution 그대로를 사용하지는 않습니다. 여러 테크닉이 있었고 그 중 하나인 depth-wise, point-wise convoltuion 에 대해 알아보았었죠. aifpga.tistory.com/12 [MobileNet v1] depthwise separable convolution (DW, PW) Intro CNN 에서의 연산량을 줄이기 위에서, Depthwise / Pointwise 를 이용한 Convoultion 기법이 나왔습니다. 바로, Depthwise Sep..
[MobileNet v1] depthwise separable convolution (DW, PW)
Intro CNN 에서의 연산량을 줄이기 위에서, Depthwise / Pointwise 를 이용한 Convoultion 기법이 나왔습니다. 바로, Depthwise Separable Convolution - A FASTER CONVOLUTION! 입니다 :) mobile net v1에서 사용되었다고 전해집니다. (2017) 실제 구현을 위해서는 이런 Triky 한 기법이 필요하다고 생각합니다. 모든 자료는 다음 동영상을 참고합니다. https://youtu.be/T7o3xvJLuHk 기존의 Convolution 연산 기존 Convolution 은 다음과 같습니다. 그림이 복잡한데, 여기서, 수식으로 보면 simple 합니다. Dk * Dk * M(#in_Channel) * N (#out_Channel)..
Meaning of Keyword for AI
Intro AI 관련 Hardware 를 설계하다보면, 다양한 단어들을 사용합니다. 대화? 가 되기 위해서 필요한 기본적인 단어들을 나열하고 그 의미들을 정리합니다. HW FLOPS : In computing, floating point operations per second (FLOPS, flops or flop/s) is a measure of computer performance, useful in fields of scientific computations that require floating-point calculations. AI CVPR : Computer Vision and Pattern Recognition L1 / L2 Loss : https://seongkyun.github.io/s..