Refactor/oos handling by voorhs · Pull Request #102 · deeppavlov/AutoIntent

voorhs · 2025-01-23T00:07:21Z

мне осталось дописать тесты на стратификацию и обновить датасеты на хагинг фейсе

что изменилось в этом огромном пр:

главное: теперь OOS семплы не хранятся в отдельном сплите а распределяются по всем сплитам, игнорируя train_0 и val_0 (сплиты для скоринг ноды)
тоже важно: теперь метки OOS семплов не конвертируются в [0,0,0,0], а остаются None (так сделал чтобы была консистентность между хранением OOS семплов для мультикласс и мультилейбл датасетов)
почти не важно: теперь при чтении из json мультилейбл метки должны быть уже закодированы в one hot
еще я поменял тайпинг меток (до этого был только LabelType), теперь у нас целый выбор из SimpleLabel, MultiLabel, ListOfLabels и так далее. пользуйтесь на здоровье в своем коде!
данные для тестов обновлены, на хагингфейсе тоже, так что у вас могут падать тесты на ваших ветках простите я случайно :(
еще успел обновить парочку других датасетов на хагингфейсе

…bel for multi-label case

…ation

autointent/modules/abc/_base.py

autointent/modules/decision/_adaptive.py

clinc150_subset.py

truff4ut · 2025-01-24T09:49:29Z

autointent/schemas/_schemas.py

                "Ensure that each label falls within the valid range of 0 to `n_classes - 1`."
            )
            raise ValueError(message)
+        if isinstance(self.label, list):


Кое-где встречаются такие проверки. Мб здесь использовать специальные типы, которые ты добавил

да, наверное стоит потом так и делать

в следующих пр и ревью будем учитывать

truff4ut · 2025-01-24T09:50:32Z

autointent/schemas/_schemas.py

+                    "Please provide at least one valid label."
+                )
+                raise ValueError(message)
+            if any(lab not in [0, 1] for lab in self.label):


Точно это сокращение нужно?

не понял вопрос

Я про lab

truff4ut · 2025-01-24T09:56:19Z

autointent/exceptions.py

Точно нужны эти исключения? Не можем просто ValueError кидать

они в тестах у нас используются

и чтобы одно и то же сообщение каждый раз не переопределять

truff4ut · 2025-01-24T10:01:52Z

autointent/modules/decision/_jinoos.py

-            msg = "JinoosDecision is compatible with single-label classification only"
-            raise WrongClassificationError(msg)
-        self.n_classes = len(set(labels).difference([-1]))
+        self._n_classes, multilabel, contains_oos = self._validate_inputs(scores, labels)


Не хочешь в декоратор эти строчки вынести?

честно хотел бы но денис и рома говорили что декораторы использовать плохо

мб в будущем как-то исправим это дублирование кода

Их не плохо использовать, для валидации норм. Просто раньше была какая-то часть логики в них и это было не удобно

truff4ut · 2025-01-24T10:08:07Z

autointent/metrics/custom_types.py

+from autointent.custom_types import ListOfLabels

-LABELS_VALUE_TYPE = list[LabelType] | npt.NDArray[Any]
+LABELS_VALUE_TYPE = ListOfLabels


ALL_CAPS + UpperCamelCase

создал issue, потом исправим

truff4ut · 2025-01-24T10:08:39Z

autointent/custom_types.py

+MultiLabel = list[int]
+SimpleLabelWithOOS = SimpleLabel | None
+MultiLabelWithOOS = MultiLabel | None
+ListOfLabels = list[SimpleLabel] | list[MultiLabel]


Мб LabelList?

Мне кажется ListOfLabels понятнее

truff4ut · 2025-01-24T10:28:13Z

autointent/context/data_handler/_stratification.py

+    def _separate_oos(self, dataset: HFDataset) -> tuple[HFDataset, HFDataset]:
+        in_domain_ids = []
+        out_of_domain_ids = []
+        for i, sample in enumerate(dataset):


Мб попробовать избавиться от этого цикла через map(with_indices=True)

прикольно, не знал что такое есть) запомню на будущее, а тут пока пусть останется

voorhs added 30 commits January 20, 2025 21:09

remove oos utilities from everywhere

e7a724a

stage progress

8c5522e

DataHandler: add support of splits with oos data

a7276c0

fix codestyle

d4b4285

fix wrong type annotation

efa2d99

try to add proper multilabel case handling to stratified splitter

f3ee03c

add checking if loaded data already one hot encoded

f73d143

stage progress on getting rid of handling anything except from ohe la…

c3b01cc

…bel for multi-label case

continue

7b23667

continue

7a7f8e3

update stratifyer

ec0a7e2

minor bug fix

6d653a0

fix typing

f972eb3

update test data

edac994

update data handler a liitle bit

74d0cdd

update test_nli_transformer

c9b340f

bug fix in test data

e91f865

add oos, multilabel and inputs validation to decision modules

7bf9e89

fix codestyle

ad16d9f

minor bug fix

33ee01d

add oos handling to metrics

b8829a2

bug fix and update callback test

ce53bd6

update data_handler test

bb6db2f

update test for stratification

29abf14

update description generation utility and corresponding tests

729fdd2

bug fix in test

0e3eeee

add test for oos handling in metrics functions

8d1282f

fix oos handling in metrics

317c9bc

forgot to commit it earlier

23842e8

minor refactoring of knn

c6628ed

voorhs added 7 commits January 23, 2025 00:50

fix adaptive decision and add test on loading and dumping

59fe010

fix decision roc_auc and how labels are restores during auto-configur…

aa75311

…ation

fix some metric

20acd67

minor bug fix and update test for inference

722eab0

fix codestyle

48d518f

stage progress on type fixing

5d584e8

finish fixing typing

8c092fd

voorhs requested review from Samoed and truff4ut January 23, 2025 00:07

voorhs added 7 commits January 23, 2025 11:08

pull actual code

357d769

update test for sklearn

234c3e0

fix user guides

4276715

fix advanced user guide on datasets

b79716a

move data-related tests to a separate directory

6d61c5a

add oos handling test

94e012f

fix codestyle

97c5cd7

Samoed approved these changes Jan 23, 2025

View reviewed changes

autointent/modules/abc/_base.py Outdated Show resolved Hide resolved

autointent/modules/abc/_base.py Outdated Show resolved Hide resolved

autointent/modules/decision/_adaptive.py Outdated Show resolved Hide resolved

clinc150_subset.py Show resolved Hide resolved

voorhs added 7 commits January 23, 2025 12:42

update doctests for decision modules

2c23415

remove clinc script

b71d341

move exceptions to a separate submodule

1424900

fix imports

e90dd08

fix codestyle

72f3f88

remove unnecessary comments

662f812

fix tests for threshold and tunable modules

977a4cf

truff4ut reviewed Jan 24, 2025

View reviewed changes

truff4ut approved these changes Jan 24, 2025

View reviewed changes

truff4ut reviewed Jan 24, 2025

View reviewed changes

voorhs mentioned this pull request Jan 24, 2025

ALL_CAPS + UpperCamelCase #103

Closed

voorhs merged commit 1824ce3 into dev Jan 24, 2025
21 checks passed

voorhs deleted the refactor/oos-handling branch January 24, 2025 11:40

Conversation

voorhs commented Jan 23, 2025

Uh oh!

Uh oh!

Uh oh!

Uh oh!

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Uh oh!

Reviewers

Assignees

Labels

Projects

Milestone

Development

Uh oh!

3 participants