add: L3-6

[inamari-sus]

No description provided.

[farqlia]

Do listy 1 komentarz: EDA jest niepełna bo wykreślone są rozkłady tylko dla niektórych kolumn (bez wniosków); również potem usuwasz do dalszej analizy job i education (można było na typ kategorialny zamienić); zamiana month na liczby może zbiasować model w stronę grudnia (bo ma 12); trochę jest chaotycznie, ale z plusów to badasz typy danych i uzupełniasz braki po podziale (chociaż potem kolumnę job i tak usuwasz)

[farqlia]

Lista 2 komentarz:

1. Tu nie jestem pewna czy faktycznie to, że ktoś ma housing oznacza, że też ma pożyczkę

bank_marketing_df['has_loan'] = bank_marketing_df.apply(lambda x: 1 if x['housing'] > 0 or x['loan'] > 0 else 0, axis=1)

2. inicjalizacja self.W mogłaby być w konstruktorze a nie w funkcji train
3. def trainTorch -> def train_torch
4. uznanie progu prawdopodobieństwa 0.5 może nie być poprawne bo wiemy że zbiór jest niezbalansowany (tj. jedna z kategorii występuje rzadziej)
5. badasz tylko accuracy, ale dla niezbalanoswanych danych ważniejsze są precision, recall i f1-score
6. brakuje sprawdzenia wyniku na zbiorze testowym (dla porównania między perceptronem w numpy a w torchu)

[farqlia]

Lista 4 komentarz:

• imo użycie parametru pooling jako -1/0/1 do określania czy ma być max czy avg jest nieczytelne
• zhardkodowana liczba klas wyjściowych
• eksperymenty wydają się poprawne, ale brakuje głębszej analizy i porównania krzywych uczenia i mertyk na zbiorze testowym

[tymem12]

Komentarz do listy 3:

• BatchNorm jest użyty w każdym eksperymencie poza tym, który nazywa się "BatchNorm". najprawdopodobnie błędny domyśny argument funkcji + błąd w configu
• 10 epok to trochę za mało- early stopping rzadko kiedy się odpalał co może sugerować, że danie parę epok więcej jeszcze by poprawiło model.

[tymem12]

Komentarz do listy 5:

• Brak normalizacji danych (np jak tak jak w ImageNecie- Normalize(mean=[0.485,0.456,0.406], std=[0.229,0.224,0.225]) )
• W linear probingu jest odmrożona więcej niż tylko głowica predykcyjna (conv1 z jakiegoś powodu również), to samo dla ekperymentu z partial_fine_tuningiem
• BN dalej się uczy przy zamrożonym modelu, bo TrainerTorch jest dalej w trybie .train()
• 5 epok to może być trochę za mało.

[farqlia]

komentarz do listy 6:

• użycie torch.amp.GradScaler('cuda') -> nie jestem pewna czy użycie tego jest uzasadnione w tej liście; z tego co rozumiem to pomaga w sytuacji, gdy mamy różne precyzje (np. float16 i float32), jednak u ciebie nie widzę nigdzie zamiany między typami czy jawne ustawienie float16; nie mówię, że to źle, ale sądzę, że to powinno być uzasadnione
• sieć autoenkodera jest bardzo płytka i przez to pewnie wychodzą niezbyt sensowne rekonstrukcje
• co do UNET : tak na przyszłość to klasy tych pikseli były niezbalansowane (tj. piksele konturu występowały rzadziej niż piksele tła czy wnętrza obiektu) przez co warto było tutaj rozważyć nadanie klasom wag
• lista zdaje się być trochę niedokończona