Machine Learning/Vision 썸네일형 리스트형 Popular CNN Architecture (3) - ResNet ResNet 다양한 Task에서 효과적인 성능을 얻은 것을 미루어 보아 매우 범용적인 Net이다. googLeNet과 마찬가지로 parameter수를 줄이기 위해 bottle neck 아키텍쳐이용. residual connection을 쓴 것이 가장 큰 특징. 기존의 코드에 reidual connection을 추가함으로 구현하는 방식이다. Network가 deep하다고 좋은 성능을 보장하지못함. Q.기존에 생각된 가장 큰 원인 -> Vanishing / Exploding gradients --layer가 깊어질때, back prop으로 얻어지는 gradients들이 너무 작아지거나, 너무 커져서 발생하는 문제? => ResNet曰 : 좋은 initializing(weight)을 수행하고, batch no.. 더보기 Popular CNN Architecture (2) - GoogLeNet GoogLeNet inception Module이 핵심이다. Inception module의 장점(특징) AlexNet처럼 한 단계가 여러 레이어로 분화된 것이 특징인데, AlexNet과 달리, 각각의 layer의 filter가 상이함. 여러 갈림길로 분화되어 receptive field가 넓어(좀 더 다양한 filter를 취합해서 각단계를 접근하게되니 성능향상이 기대가 됨)져 좀 더 넓은 영역을 보고 input의 포괄적인 정보를 인지할 수 있다. ( * (b)가 실제로 사용된 모델이다.) (b)모델을 보면 알 수 있듯이 1x1의 conv를 사용하여, 한 단계를 두 단계로 나누어 channel 수를 획기적으로 줄여 준다. => dimension reduction Dimension Reduction에 관해.. 더보기 Popular CNN Architecture (1) - AlexNet, VGG 현 시대의 비전분야에 CNN아키텍쳐 사용에 시발점이된 AlexNet에서 15년도 ICLR 우승작인 ResNet에 이르기까지 대략적으로 큰 획을 그은 대표적인 아키텍쳐는 크게 4가지가 있었다. 이번 포스팅에서는 4종의 아키텍쳐중 AlexNet과 VGGNet에 대해 간략하게 알아볼 것이다. 각각의 아키텍쳐들은 시간이 지날수록 error rate이 감소하고, depth가 깊어지는 경향이 있다. 다시말해, 일반적으로 layer의 depth가 깊어질수록 성능이 좋아질 여지가 높아짐. (무조건적으로 성능이 좋아지는 것은 아님) AlexNet 1. 구조 기존 activation function(tanh, sigmoid 등)에 비해서 ReLU를 사용했을때, 더 빠른 속도로 수렴하는 효과적인 성능을 보임. (지금까지도 .. 더보기 이전 1 다음
