FEDOT icon indicating copy to clipboard operation
FEDOT copied to clipboard

Published 20 hours ago • verified publisher icon aimclub

Technical debt and refactoring

Open J3FALL opened this issue 4 years ago • 11 comments

Доработки и рефакторинг после показа:

  1. ~Отрицательные значения метрик (см. ROC AUC): добавить property для метрик, которые передаются алгоритму оптимизации.~
  2. ~Хранение reference_data в chain - тут нужно подумать.~
  3. ~Обработка Nan-ов в EvaluationStrategy~.
  4. ~Дублирование кода в models. Возможно, добавить прослойку для SKLearn/ML Model~.
  5. TBA

J3FALL avatar Mar 02 '20 20:03 J3FALL

  1. ~Необходимость явного deepcopy для моделей и нод, чтобы обеспечить актуальность кэша~
  2. ~Неочевидные флаги обучения и кэширования в нодах и стратегиях.~

nicl-nno avatar Mar 02 '20 22:03 nicl-nno

  1. ~Добавить возможность доращивания цепочки из initial_chain для композера.~
  2. ~Сделать logging-конфиг и логирование операций.~

J3FALL avatar Mar 03 '20 11:03 J3FALL

  1. Рефакторинг CRUD-операций над цепочками

nicl-nno avatar Apr 02 '20 19:04 nicl-nno

  1. Обсудить использованием enum-ов в repository, composer и т. д и перейти на более pythonic-решения.

nicl-nno avatar May 10 '20 15:05 nicl-nno

~12. Переделать выбор стратегии в model/_eval_strategy_for_task~

nicl-nno avatar May 11 '20 16:05 nicl-nno

  1. Убрать дублирования из credit scoring-скриптов

nicl-nno avatar Jun 02 '20 18:06 nicl-nno

~14. Get rid of NodeGenerator in core.~

J3FALL avatar Jul 06 '20 10:07 J3FALL

  1. Преобразовать гиперпараметры в JSON

"Все-таки, привычнее видеть такие около hardcode-штуки во внешних конфигах. Возможно, какой-нибудь продвинутный json-парсер для питона позволит там вынести эти параметры из скрипта, а также решит полностью или частично проблемы с его валидацией."

nicl-nno avatar Jul 06 '20 20:07 nicl-nno

  1. Улучшить тесты на тюнинг. "Кажется, я однажды уже озвучивал идею про тестирование тюнеров - делать заведомо плохие цепочки для конкретного датасета. Например, можно для тестовой цепочки установить некоторые совсем нереалистичные значения. Однако, все равно не гарантируется, что точно найдется за заданное время работы теста решение > исходного. Над этим можно подумать на досуге - как грамотнее тестировать тюнеры."

J3FALL avatar Nov 10 '20 10:11 J3FALL

Refactor model test in https://github.com/nccr-itmo/FEDOT/blob/master/test/models/test_model.py

It should be runned for each model in repository, not just manually added in the test.

nicl-nno avatar Nov 24 '20 11:11 nicl-nno

  1. Suggest the more "native" tags for AtomizedModel in ModelTypesRepository

J3FALL avatar Jan 25 '21 11:01 J3FALL

I think it can be closed as obsolete.

nicl-nno avatar Jul 25 '23 13:07 nicl-nno