[Summary] First week`s tests

[ddooom]

1. Test Image Size 512x512

모델	배치	시드	loss	image size	LB score	비고
DLV3+ resnext50	8	77	CE	512	0.5795	cosinewarmup
DLV3+ resnext50	16	77	CE	512	0.5754	cosinewarmup
DLV3+ seresnext50	16	77	CE	512	0.5670	cosinewarmup

test 과정에서 학습 시간이 너무 많이 소요됨

-> 어차피 inference 과정에서 output이 256x256으로 나오므로 input image size를 256x256으로 하여 실험해보기로 함

2. Test Image Size 256x256

모델	배치	시드	loss	image size	LB score	비고
DLV3+ resnext50	8	77	CE	256	0.5640	cosinewarmup
DLV3+ resnext50	16	77	CE	256	0.5609	cosinewarmup

512에 비해 성능은 떨어졌지만 경향성은 유지되었다.

또한 러닝 타임이 13분에서 2분으로 대폭 감소하였다.

-> image size를 256으로 하여 여러 실험을 하고 추후에 해당 파라미터로 input size 512를 학습하기로 함

3. Testing Various Hyper Parameters

1. Loss

LB 평가 지표가 mIoU이므로 이를 CE와 가중합하여 사용해보았다.

모델	배치	시드	loss	image size	LB score	비고
DLV3+ resnext50	8	77	CE	256	0.5640	cosinewarmup
DLV3+ resnext50	8	77	(1-mIoU)*0.4	256	0.5653	cosinewarmup
DLV3+ resnext50	8	77	(1-mIoU)*0.7	256	둘보다 낮음	cosinewarmup

위 테이블에서는 CE는 0.6, (1-mIoU)는 0.4의 가중을 주어 사용하는게 성능이 가장 좋았다.

이 외에 데이터 불균형 해결을 위한 focal loss 도 가중합으로 실험해보았는데,

CE는 0.8, focal loss는 0.2의 가중을 주어 사용하면 조금의 성능 향상을 확인하였다.

2. Pretrained Weight

모델	배치	시드	loss	image size	LB score	weight
DLV3+ resnext50	8	77	(1-mIoU)*0.4	256	0.5653	imagenet
DLV3+ resnext50	8	77	(1-mIoU)*0.4	256	0.6020	swsl

기존에 사용했던 pretrained weight 'imagenet'을 'swsl'로 바꾼 결과 성능이 크게 향상되었다.

모델	배치	시드	loss	image size	LB score	weight
DLV3+ ResNeXt101 32x16d	8	21	CE	256	0.6149	instagram

또한, pretrained weight로 'instagram'을 사용했을 때도 'imagenet'보다 좋은 성능을 보였다.

3. Augmentation

모델	배치	시드	loss	image size	LB score	augmentation
DLV3+ resnext50	8	7	(1-mIoU)*0.4	256	0.5756	HorizontalFlip, ShiftScaleRotate, RandomBrightnessContrast, GaussNoise
DLV3+ resnext50	8	7	(1-mIoU)*0.4	256	0.6032	HorizontalFlip, ShiftScaleRotate
DLV3+ resnext50	8	7	(1-mIoU)*0.4	256	0.5772	RandomBrightnessContrast, GaussNoise
DLV3+ resnext50	8	7	(1-mIoU)*0.4	256	val 낮음	Normalize
DLV3+ resnext50	8	7	(1-mIoU)*0.4	256	val 낮음	Normalize, HorizontalFlip, ShiftScaleRotate

위 모델의 경우 horizontalFlip, ShiftScaleRotate만 사용한 것이 가장 성능이 좋았다.

뿐만 아니라 Flip과 Rotate 계열의 augmentation이면 모두 성능이 향상된 것을 확인할 수 있었다. (Rotate90 ...)

색감과 명암에 관련된 ColorJitter나 RandomBrightnessContrast를 사용하면 약간의 성능 향상이 있었다.

down size를 할 때, resize가 아닌 CropNonEmptyMaskIfExists를 하는 것도 효과적이었다.

이 외의 다른 augmentation도 시도해보았으나 결과는 좋지 못했다.

모델	배치	시드	loss	image size	LB score	augmentation
DLV3+ resnext50	8	7	CE	256	0.5924
DLV3+ resnext50	8	7	CE	256	val 낮음	Histogram Eqaulization
DLV3+ resnext50	8	7	CE	256	0.5591	CLAHE
DLV3+ resnext50	8	7	CE	256	0.5775	+CLAHE -Normalize

Elastictransform도 성능을 하락시켰다.

4. Optimizer

기존 Adam을 많이 사용하였고 성능도 좋았다.

하지만 최신 optimizer인 AdamP와 AdamW도 성능 향상에 도움이 되었다.

5. models

모델	배치	시드	loss	image size	LB score	비고
swin_base	32	2546		256	0.6189	with augmentation
hr_net	32	2536		256	0.5812	with augmentation
PAN_resnext101_32x8d	8	7	(1-mIoU)*0.4	256	0.5833
DLV3_resnext101_32x8d	8	7	(1-mIoU)*0.4	256	0.5736
DLV3+_efficientnet_b5	8	7	(1-mIoU)*0.4	256	0.536`
FPN_efficientnet_b5	8	7	(1-mIoU)*0.4	256	0.5120
PSPNet_resnext101_32x8d	8	7	(1-mIoU)*0.4	256	0.4689
Resnext50 Unet	16	7	CE	256	0.4679
Efficientnet Unet	16	7	CE	256	0.4499
Linknet_resnext101_32x8d	8	7	(1-mIoU)*0.4	256	0.4086

실험 결과, swin transformer, hrent의 성능이 우수함을 확인하였다.

encoder에서 efficient net은 큰 성능 향상을 불러오지 못했고 resnext101 계열의 encoder가 가장 성능이 향상되었다.

decoder 부분으로는 DeepLabV3와 PAN이 가장 성능이 좋았다.

6. 그 외의 실험

• ClassMix는 오히려 성능이 하락되었다.

• TTA (flip) : 성능이 향상되었다.
  0.6419 -> 0.6521

• train all
  0.6105 -> 0.6143

• 큰 성능 향상 : ensemble, pseudo labeling, k-fold

7. conclusion (best hyperparameters)

• Loss : 0.6CE + 0.4(1-mIoU), 0.8CE + 0.2focal loss
• Pretrained Weight : swsl, instagram
• Augmentation : horizontalFlip, ShiftScaleRotate, Rotate90, ColorJitter, CropNonEmptyMaskIfExists
• Optimizer : Adam, AdamP, AdamW
• Model : DLV3+, PAN, swin tranformer, hrnet
• etc : TTA, train all, ensemble, pseudo labeling, k-fold

4. Pseudo labeling & Ensemble

...

[ddooom]

정리하다가 표로 만들 필요 없거나 겹치는 부분은 제외시켰습니다. 집중력 하락으로 확인 못하고 적지 못한 부분이 있을 수도 있으니 추가할 내용 있으시면 말씀해주세용

[HyeonJin-A]

표에 없는것까지 하면 2배는 될텐데 저희 1주차에 진짜 많이했네요 ㅋㅋㅋㅋ