<aside> ⭐

아직 review 중에 있습니다.

</aside>

Problem Definition

Data Starving

Image-to-sketch 생성의 주된 문제는 바로 “Data starving” 입니다. Sketch는 모든 데이터를 수작업으로 만들기 때문에 데이터를 모으는데 비용이 많이 듭니다. 또한 아래 예시처럼 사람마다 추상화의 정도가 달라 데이터가 서로 상이합니다.

서로 다른 추상화 정도를 갖는 스케치 예시 (a), (e)에 가까울 수록 많이 추상화 돼있고 (d), (g)에 가까울 수록 추상화 정도가 낮습니다.

서로 다른 추상화 정도를 갖는 스케치 예시 (a), (e)에 가까울 수록 많이 추상화 돼있고 (d), (g)에 가까울 수록 추상화 정도가 낮습니다.

돈을 많이 써서 데이터를 왕창 수집하는 방법을 제외한 data starving problem을 해결하는 방법에는 크게 2가지 방법이 있습니다.

  1. Foundation image 생성 모델을 활용한 zero-shot method 혹은 cycle consistency를 활용한 unsupervised method

    image.png

  2. 작은 데이터셋을 활용하여 supervised learning 기반의 특정 도메인에서만 동작하는 method.

    image.png

각각의 방법은 아래와 같은 장단점이 있습니다.

<aside> ⭐

  1. zero shot or unsupervised learning method

    pros: 대부분의 객체를 생성할 만큼 일반화 능력이 좋음

    cons: 결과가 noisy하거나 doodle 수준임.

  2. supervised learning method in specific domain

    pros: 결과가 깔끔하고 품질이 좋음.

    cons: 학습 데이터에 이미지와 대응되는 sketch 간의 pixel-level misaligment 가 존재.

</aside>

Pixel-level misalignment

Pixel-level misalignment 예시

Pixel-level misalignment 예시

Pixel-level misalignment란, 이미지에 꼭 맞게 스케치를 그려야하지만 human-error로 두 이미지 간에 pixel-level의 작은 불일치가 발생하는 이슈를 말합니다. Supervised learning 관점에서 이러한 misalignment는 데이터셋의 noise로 볼 수 있어 결과적으로 모델의 성능을 저하합니다.

본 연구에서는 제한된 데이터셋으로 범용적이고 깔끔한, 특히 이진 (0, 1) 스케치를 생성하는 방법을 제안합니다.

<aside> ⭐

  1. 범용성을 위해 unsupervised learning method (InfoDraw)를 활용합니다.
  2. 깔끔한 이진 스케치를 생성하기 위해 supervised learning method를 활용합니다.
  3. 이때, 발생하는 pixel-level misalignment 문제를 SketchAlign 알고리즘으로 해결했습니다. </aside>

image.png

Preliminary

ETF (Edge Tangent Flow)

Kang, Henry, Seungyong Lee, and Charles K. Chui. "Coherent line drawing." Proceedings of the 5th international symposium on Non-photorealistic animation and rendering. 2007.

Edge tangent flow example

Edge tangent flow example