• inspired by

  • git page

    GitHub - dicarlolab/vonenet: Repository for VOneNet models

  • paper

    Simulating a Primary Visual Cortex at the Front of CNNs Improves Robustness to Image Perturbations

• VOnetNet with FGSM, MNIST

  GitHub - comeeasy/R320_VOneNet

• Environment

• Practical Train / Validation

Written by 김준호, 안병철 in 2020-04-03

Added by 김준호 2021-09-30

Abstract

• 현재 많은 State-of-art object recognition 모델들은 primate visual system(뇌)에서 영감을 얻은 모델 CNN을 사용하고 있다.
• 하지만 사람은 알아차리지도 못할 정도로 작고 인위적으로 만든 perturbations와 corrupted 된 이미지에 의해 쉽게 그 기능을 잃어버린다.
• 먼저 primate primary visual cortex(V1)에 잘 맞는 hidden layers를 가진 CNN이 adversarial attacks에 robust하다는 것을 발견하였다. 이를 발견을 통해 VOneNet을 개발하였다.
• VOneNet은 front-end에 primate V1과 같은 역할을 하는 fixed weight neural network를, back-end에 state-of-the-art CNN을 포함한다.
• 이때 front-end에 있는 모델을 VOneBlock이라고 한다. VOneBlock은 linear-nonliniear-Poisson model(이하 LNP model)이다. linear: Gabor Filter Bank nonlinear: simple & complex cell nonlinearity, 마지막: V1 neuronal stochasticity generator
• 적용의 결과로 VOneNet은 기존의 state-of-the-art CNN의 ImageNet performance는 유지하며 robustness를 향상시킨다.

Introduction

• 그렇다면 human vision같은 CNN을 어떻게 개발했나?

  • Incorporating biological contraints 생물학적 제약을 통합한 CNN을 개발한다.
  • 이를 위해 각 CNN의 ability를 확인한다.
  • Neural response pattern in primate primary visual cortex(V1) 이 adversarial attack에 대한 robustness에 아주 높은 상관관계가 있다는 것을 밝힌다.

  <aside> ✔️ 즉, CNN의 V1의 생물학적 특성을 잘 반영할 수록, adversarial attack에 더 robust 하다는 것이다.

  </aside>

  • VOneNet은 VOneBlock을 붙은 기존의 CNN이다.

  • VOneBlock은 LNP model이며 구체적으로는 아래와 같은 구성을 따른다.

    

    1. Linear : Gabor Filter Bank
    2. nonLinear: Simple & Complex cell nonlinearity
    3. stochasticity: Adding noise

  • 그리고 3번째 구성인 stochasticity는 성능에 큰 영향을 미친다.

    

    • stochasticity를 적용하고 training을 하면 더 robust한 representations를 downstream하기 때문이다.

V1 Modeling

• Hand-Designed Gabor Filter가 V1 response를 잘 예측하였고, 이후에 normalization, pooling과 같은 nonlinear operation들이 extra-classical funtional property(...?)를 설명하기 위해 추가 되었다.

<aside> ✔️ Gabor Filter Bank를 사용한다.

</aside>

Model Robustness

• Adversatial attack을 막기 위한 state-of-the-art 방법은 adversarial training이다.
  • 이의 문제점은 시간이 오래 걸리고 "expensive" 하다는 점이다. 또한 clean performance(of non-attacked images)에 영향을 준다.