Conditional Generative Adversarial Networks

Conditional Generative Adversarial Nets Introduction 기존의 Generative Adversarial Nets 생성 모델을 학습하기 위해서, 데이터의 확률적 계산의 어려움을 대체하는 GAN. 이 모델은 Markov chain이나 별다른 추측 필요없이 오직 Back-Propagation으로만 학습이 가능하다. (더 자세한 내용은 이전 글 참조) 생성되는 데이터를 조절할 수 있을까? 하지만 기존의 모델은 Unconditional 생성 모델로, 데이터가 생성되는 종류를 제어할 방법이 없다. 하지만 이것이 가능하다면 성능이 향상되지 않을까? 이를 조건 설정을 통해 데이터 생성 과정을 제어하고자 하는 것이 바로 이 논문에서 다룰 Conditional Generative A..

Generative Adversarial Networks

시작하기에 앞서, Generative Model을 간단하게 살펴보자. 머신러닝에는 크게 지도학습(Supervised Learning), 비지도학습(Unsupervised Learning), 그리고 강화학습(Reinforcement Learning) 3가지로 구분할 수 있다. 이 글에서는 비지도학습중에 대표적으로 클러스터링(Clustering)과 생성모델(Generative Model)이 있다. 오늘은 그중에서도 생성모델에 한번 집중해보자. 생성모델은 주어진 학습 데이터를 학습하여 학습 데이터의 분포를 따르는 유사한 데이터를 생성하는 모델이다. 이러한 생성모델에는 여러 가지 방식들이 있는데, 학습 데이터의 분포를 기반으로 할 것인지(Explicit Density) 혹은 그러한 분포를 몰라도 생성할 것인지(..

Object-Contextual Representations for Semantic Segmentation

Abstract Study semantic segmentation의 context aggregation problem. Pixel의 label은 결국 pixel이 속하는 object의 범주라는 것을 바탕으로 간단하고 효과적인 접근법 사용, object의 class를 바탕으로 pixel을 추출한다. ground-truth segmentation을 바탕으로 object의 regions를 학습한다. object regions에 있는 pixels의 representation을 종합해서 object의 representation을 계산한다. object-contextual representation(OCR)으로 각각의 pixel representation을 augment한다. Cityscapes leaderboar..

Why Knowledge Distillation Work?

Summary 왜 Knowledge distillation은 Soft Label을 사용하는가? Knowledge distillation (Teacher-Student Learning) 이미 학습 된 큰 모델을 학습 시키고자 하는 작은 모델이 따라하는 방식으로 학습이 가능하다. 학습된 모델로 unlabeled 데이터셋을 pseudo-label을 주고, 이를 바탕으로 학습하는 방법으로 사용한다. 피어세션에서 pseudo-labeling은 언제 사용하는 것이며, 정말 효과적일까 하는 질문이 있었다. (정확히는 soft lable을 활용해서 학습하는 것, pseudo label과는 약간은 다르다.) 멘토님과도 토의를 했었는데, 추가적으로 궁금한 부분이 있어서 논문을 한 번 찾아보았다. [Jianping Gou ..