Software 1.0 vs Software 2.0

Software 1.0과 Software 2.0은 일종의 프로그래밍의 기술의 방법이다. Software 2.0이 나온 이후로 딥러닝은 엄청난 속도로 발전했다. 그렇다면 Software 1.0과 Software의 2.0이란 무엇이고 그 차이는 무엇일까? 먼저, Software 1.0의 정의는 다음과 같다. The “classical stack” of Software 1.0 is what we’re all familiar with — it is written in languages such as Python, C++, etc. It consists of explicit instructions to the computer written by a programmer. By writing each line of ..

재활용 품목 분류를 위한 Semantic Segmentation 대회 Wrap-up

Project Outline Task 재활용 품목 분류를 위한 Semantic Segmentation (https://stages.ai/competitions/78/overview/description) 쓰레기가 찍힌 사진에서 쓰레기를 Segmentation 하는 모델을 통한 분리수거 인공지능 만들기 Metric mIoU (Mean Intersection over Union) : 각 클래스 별 IoU를 계산하고, 이 값들의 평균을 구한다. Result Public : 0.779(mIoU), 19팀 중 6등 Private : 0.760(mIoU), 19팀 중 3등 Trial and Errors Augment 모델이 학습한 결과를 시각화하면서, 다양한 문제점을 발견했다. 그림자나 객체의 프린팅 된 그림에 의..

재활용 품목 분류를 위한 Semantic Segmentation 대회 [3/3]

Trial and Errors Ensemble 단일 모델 Ensemble 일반화를 높이기 위해서는 K-fold로 나뉜 valid를 앙상블 하는 방법이 가장 일반적이다. 하지만, 5번의 학습에 너무 많은 시간이 필요하여 다른 방법을 시도했다. 시간을 최소한으로 일반화를 높이기 위해서 먼저, Valid를 나누지 않은 데이터 셋을 이용하여 학습을 진행했다. Validation이 없기 때문에, 학습의 정도를 확인할 수 없고 이를 보완하고자 epoch과 seed를 기준으로도 앙상블을 진행했다. 결과적으로는 기존 성능보다는 근소하게 낮은 점수가 나왔다. 하지만, 실제로 시각화하여 확인한 결과로는 조금 깔끔한 결과를 확인할 수 있었다. 다른 모델과의 Ensemble 최종적으로 높은 성능을 보인 모델이, MMSegme..

[주간 회고] WEEK 13

Retrospective Goal 다양한 실험 진행 SOTA Model Augment CRF Ensemble Activity Project 2021.10.29 - [Project/Semantic Sementation] - 재활용 품목 분류를 위한 Semantic Segmentation 대회 [2/3] Retrospective 이번 주에는 다양한 논문을 읽어보며 모델의 구조를 공부하고, SOTA 모델을 따라서 적용해보기도 하며 다양한 실험을 진행했다. 결론적으로는, Object Detection Task와 마찬가지로 Swin의 성능이 뛰어났다. 논문을 읽으면서 느낀 점은 성능을 올리기 위해서 정말 다양한 방법을 적용하는 것이다. 하지만, 다른 Task의 경우 결국 최종적으로 종합해서 사용한 최종적인 모델이..

재활용 품목 분류를 위한 Semantic Segmentation 대회 [2/3]

Trial and Errors Model SOTA 모델 사용하기 Semantic Segmentation 모델의 구조는 크게 FCN, Multi-scale, Encoder-Decoder, R-CNN, Attention, GAN 등으로 나뉜다. 이 중에서 나는 high-level API인 MMSegmentation를 활용해 최근의 SOTA 모델 위주로 실험을 진행했다. 이번 대회에서는 DeepLabv3+, HRNetV2+OCR, UperNet+Swin-B, Danet, DEiT, DNL 등 최대한 다양한 모델을 사용해서 이후 앙상블에 사용하고자 했다. 좋은 앙상블을 위해서는 어느정도 우수한 성능을 갖는 모델을 다양하게 가질 필요가 있다. 특히, Atrous Spatial Pyramid Pooling을 사용하..

Object-Contextual Representations for Semantic Segmentation

Abstract Study semantic segmentation의 context aggregation problem. Pixel의 label은 결국 pixel이 속하는 object의 범주라는 것을 바탕으로 간단하고 효과적인 접근법 사용, object의 class를 바탕으로 pixel을 추출한다. ground-truth segmentation을 바탕으로 object의 regions를 학습한다. object regions에 있는 pixels의 representation을 종합해서 object의 representation을 계산한다. object-contextual representation(OCR)으로 각각의 pixel representation을 augment한다. Cityscapes leaderboar..

Why Knowledge Distillation Work?

Summary 왜 Knowledge distillation은 Soft Label을 사용하는가? Knowledge distillation (Teacher-Student Learning) 이미 학습 된 큰 모델을 학습 시키고자 하는 작은 모델이 따라하는 방식으로 학습이 가능하다. 학습된 모델로 unlabeled 데이터셋을 pseudo-label을 주고, 이를 바탕으로 학습하는 방법으로 사용한다. 피어세션에서 pseudo-labeling은 언제 사용하는 것이며, 정말 효과적일까 하는 질문이 있었다. (정확히는 soft lable을 활용해서 학습하는 것, pseudo label과는 약간은 다르다.) 멘토님과도 토의를 했었는데, 추가적으로 궁금한 부분이 있어서 논문을 한 번 찾아보았다. [Jianping Gou ..

재활용 품목 분류를 위한 Semantic Segmentation 대회 [1/3]

Competition Summary 재활용 품목 분류를 위한 Semantic Segmentation 쓰레기가 찍힌 사진에서 쓰레기를 Segmentation 하는 모델을 통한 분리수거 인공지능 만들기 더보기 분리수거는 이러한 환경 부담을 줄일 수 있는 방법 중 하나입니다. 잘 분리배출 된 쓰레기는 자원으로서 가치를 인정받아 재활용되지만, 잘못 분리배출 되면 그대로 폐기물로 분류되어 매립 또는 소각되기 때문입니다.여러분에 의해 만들어진 우수한 성능의 모델은 쓰레기장에 설치되어 정확한 분리수거를 돕거나, 어린아이들의 분리수거 교육 등에 사용될 수 있을 것입니다. 부디 지구를 위기로부터 구해주세요! 🌎 따라서 우리는 사진에서 쓰레기를 Segmentation하는 모델을 만들어 이러한 문제점을 해결해보고자 합니다...