Retrospective
Goal
다양한 실험 진행
- SOTA Model
- Augment
- CRF
- Ensemble
Activity
Project
Retrospective
이번 주에는 다양한 논문을 읽어보며 모델의 구조를 공부하고, SOTA 모델을 따라서 적용해보기도 하며 다양한 실험을 진행했다. 결론적으로는, Object Detection Task와 마찬가지로 Swin의 성능이 뛰어났다. 논문을 읽으면서 느낀 점은 성능을 올리기 위해서 정말 다양한 방법을 적용하는 것이다. 하지만, 다른 Task의 경우 결국 최종적으로 종합해서 사용한 최종적인 모델이 있었던 반면 이번 Semantic Segmentation Task의 경우 아직 뭔가 정리되지 않은 기분이었다.
그만큼 다양한 장점을 가진, Backbone과 Decoder가 따로 사용되었고, 그만큼 공부할 모델도 많았다. 다양한 방법으로 섞어서 사용하려고 노력했으나, 생각보다 쉽지는 않았다. 뭐 사실 쉽게 사용했다면, 나는 이 자리에 없겠지만. 그래도 시도를 해 볼 수 있던 것에 만족한다.
추가적으로 CSV를 시각화하면서, 확인한 모델에서 부족한 점을 개선하기 위해 다양한 augment를 사용했다. 하지만, 역시 생각대로 되지는 않는 법. 각각의 문제를 해결하기 위한 augment를 적용해보고 일부는 효과를 확인했으나, 역시나 이를 다같이 사용하려는 과정에서 오히려 역효과가 발생하는 경우도 있었다. 물론, seed를 고정했지만 항상 결과가 동일한 것은 아니며, 학습 시에 고려할 부분도 많았기에 여러 가지 실험이 추가적으로 더 필요해 보인다.
강의에서 배운 CRF가 너무 좋아보여서, 한번 적용해봤지만 결과는 그렇게 좋지 못했다. 적용하는 알고리즘을 확인해보니, 강의에서 나온 이미지의 경우 충분히 효과를 얻을 수 있을 사진이었다. 하지만, 이번 대회에서의 이미지는 대체로 배경과 객체의 색감의 구분이 애매하고, 객체 내에서도 브랜드 마크나 그림으로 혼란을 주었다. 결론적으로는 CRF를 사용하면 특정 상황에서는 효과적이며, 또 다른 상황에서는 역효과였다. 파라미터를 조절하면 약간의 성능 향상을 시킬 수 도 있으나, 그 경우는 public dataset에 over fitting 될 경우라고 판단하여 CRF는 과감히 포기하기로 결정했다.
앞으로 남은 기간동안, 최대한 시간을 효율적으로 활용해야 할 것 같다. 추가적인 모델 실험을 진행하지는 않을 것이지만, 남은 augment를 실험하고 최종적으로 모델을 학습시키기 위해서는 많은 시간이 필요할 것으로 보인다. 그리고 내가 사용하고 있는 모델의 경우 베이스라인에서의 적용이 힘들어, API를 사용해야 하는데, 이 경우에 앙상블에서 고려할 부분이 많을 것 같다. 시간이 된다면, soft voting으로 구현하고 싶지만, 시간이 없다면 CSV를 통해서 hard voting 하는 식으로 사용할 예정이다.
Peer Session
운이 좋았을까? 많이 실험했다기 보다는, 모델을 먼저 찾아서 오랜 기간 1등을 유지했다. 현재는 2등으로 밀려난 상황이지만, 상위권을 꾸준히 유지해주는 덕분에 팀원들과 나는 여유롭게 실험을 진행할 수 있었다. 등수나 점수에 신경 쓰지 않고 싶지만 그래도 신경 쓰이는 것이 사람의 심리일까? 2등으로 밀려나 아쉽기는 하지만, 아직 추가적으로 적용하지 않은 다양한 방법과 경우의 수가 남아있기 때문에, 끝까지 최선을 다해야겠다. 팀원들과도 항상 최대한 여유롭게 몸 생각하면서, 진행하기 위해서 노력하고 있다. 사람이 너무 급해지면, 힘들기만 하고 얻는 것도 없을 것이다.
이번 주 동안의 실험결과로 어느 정도 좋은 모델은 찾은 상황이다. 그 외에도 다양한 실험 결과에 대해서, 의논하고 있는데 UperNet Swin-B와 비슷한 성능의 모델을 찾지 못해서, 고민이 깊어지고 있는 상황이다. 아직 확실하게 어떤 방법이 좋다는 결론이 나오지는 않았지만, 이를 너무 걱정하지는 않으려 노력하고 있다.
자칫, 조급해질 수 있는 마음을 멘토링 시간에 멘토님의 조언을 듣고 마음을 다 잡고 있다. 등수를 신경써, 조금의 점수를 올리려다 최종 성능평가에서 바닥으로 떨어질 수도 있는 것이다. 성능을 올리기보다는 일반화를 좋게 하기 위한 방법을 팀원들과 고민하고 있다. 앙상블을 적용하기 위해서, 베이스라인의 경우 어느 정도 준비가 된 상황이지만, MMSeg 환경에서는 적용이 어려워 다른 방법을 찾아보고 있다.
부스트캠프에서 나의 최대 목표는, 즐기는 것과 어제보다 성장한 오늘이다. 그래서 처음 팀원을 구할 때, 성장에 목표를 두는 팀원을 구하려고 노력했었다. 이번 대회를 진행하면서, 이전 대회보다도 한층 성장한 나와 팀원들을 보며 좋은 팀원을 둔 것 같아서 좋았고, 뿌듯했다.
'ETC > 부스트캠프 AI Tech' 카테고리의 다른 글
| [주간 회고] WEEK 12 (0) | 2021.10.22 |
|---|