HW Engineer 가 이야기하는 AI
Fast Algorithms for Convolutional Neural Networks
논문 링크 : arxiv.org/abs/1509.09308 영삼 참고 : www.youtube.com/watch?v=j4CIomZfsdM youtu.be/Xh2hBMUYKAE 논문 년도 : Nov 2015 (CVPR 2016) benchmark : github.com/soumith/convnet-benchmarks 오래된? 논문이긴 한데, 첫 제품이 나온 시점에서 연산 최적화를 해볼 수 있는 아이디어를 조사합니다. Abstract Winograd’s minimal filtering algorithms 을 사용하여 CNN 을위한 새로운 종류의 빠른 알고리즘을 소개합니다. 실제 적용이 되기 위해서 Operation speed 가 중요한데, 이를 위해서 Winograd Convolution 을 사용합니다. W..
CNN (Convolution Neural Network) 연산에 대해 이해해보자. (CNN Explainer)
안녕하세요. 맛비입니다. 오늘은 AI HW 에서 보편적으로 널리 사용되는 연산 중 하나인 CNN (Convolution Neural Network) 을 쉽게 이해할 수 있는 Tool 을 소개해 드리려고 합니다. CNN 연산을 처음 접했을 때, 헷갈리는 부분들이 있었는데요. (2D Convolution 의 확장판..?) 제가 이해하려고 노력했을때도 헷갈린데, 남에게 설명하는건 더 어렵겠죠. 좋은 자료를 찾은 것 같아서 공유드립니다. 바로 CNN Explainer 입니다. poloclub.github.io/cnn-explainer/ CNN Explainer An interactive visualization system designed to help non-experts learn about Convolut..
MobileNet v2
2019.10.30 에 정리했던 글 입니다. Intro MobileNet v2 에 대해 정리하려고 합니다. v3 는 HW 하는 사람이 보기보다는 알고리즘 하는 분에게 유익한 논문이라 생각합니다. Neural Architecture Search 가 주요내용이다 생각합니다. 알고리즘 하는 분들이 앞으로 나아가야할 방향이라고 봅니다. 이야기를 짧게하자면, MobileNet 은 google 에서 만든 Network 입니다. MobileNet v1 (April 2017), MobileNet v2 (2018-2019), MobileNet v3 (August 2019) 에 발표 되었습니다. MobileNet 과 같은 Network에 대해 알아보는 이유는 HW 구현에서 필요한 내용들을 익히기 위해서 입니다. 하지만..
Grouped Convolution, Dilated Convolution
Intro CNN 을 실제 HW 로 구현하려면 엄청난 MAC 량을 마주할 수 밖에 없습니다. 이는 빠른 detection 이 가능하다고 했던 YOLO 에서도 마찬가지 입니다. 하여 현업에서 네트워크를 학습 및 구현하려고 할때, Convolution 그대로를 사용하지는 않습니다. 여러 테크닉이 있었고 그 중 하나인 depth-wise, point-wise convoltuion 에 대해 알아보았었죠. aifpga.tistory.com/12 [MobileNet v1] depthwise separable convolution (DW, PW) Intro CNN 에서의 연산량을 줄이기 위에서, Depthwise / Pointwise 를 이용한 Convoultion 기법이 나왔습니다. 바로, Depthwise Sep..
[MobileNet v1] depthwise separable convolution (DW, PW)
Intro CNN 에서의 연산량을 줄이기 위에서, Depthwise / Pointwise 를 이용한 Convoultion 기법이 나왔습니다. 바로, Depthwise Separable Convolution - A FASTER CONVOLUTION! 입니다 :) mobile net v1에서 사용되었다고 전해집니다. (2017) 실제 구현을 위해서는 이런 Triky 한 기법이 필요하다고 생각합니다. 모든 자료는 다음 동영상을 참고합니다. https://youtu.be/T7o3xvJLuHk 기존의 Convolution 연산 기존 Convolution 은 다음과 같습니다. 그림이 복잡한데, 여기서, 수식으로 보면 simple 합니다. Dk * Dk * M(#in_Channel) * N (#out_Channel)..
Meaning of Keyword for AI
Intro AI 관련 Hardware 를 설계하다보면, 다양한 단어들을 사용합니다. 대화? 가 되기 위해서 필요한 기본적인 단어들을 나열하고 그 의미들을 정리합니다. HW FLOPS : In computing, floating point operations per second (FLOPS, flops or flop/s) is a measure of computer performance, useful in fields of scientific computations that require floating-point calculations. AI CVPR : Computer Vision and Pattern Recognition L1 / L2 Loss : https://seongkyun.github.io/s..