FEDOT
FEDOT copied to clipboard
aimclub
Aggregated operations
There are some groups of models:
- Linear (Lasso, Linear, Ridge, Elastic)
- Boostings (XGBoost, CatBoost, LGBM, Sklearn boosting)
- Forests (Random, ExtraTrees)
- and so on
Each group can be implemented as a single operation during the composition stage. At the tuning stage, any model from the group can be selected.
Концептуально звучит интересно, но какие преимущества видишь у такого подхода по сравнению с текущим подходом? Я вижу проблему в том, что тут получается, что в одной группе есть сильные и слабые модели (катбуст >> бустинга из склерна, например). Сейчас по-идее мы стремимся использовать просто одну сота модель из семейства, чтобы дополнительно не усложнять пространство поиска. К тому же мне сейчас кажется, что затраты на реализацию подхода >> профита
какие преимущества видишь у такого подхода по сравнению с текущим подходом
Сокращение пространства поиска.
просто одну сота модель из семейства
Как будто бы это не оптимально. Логичнее было бы на композиции использовать самую быструю модель, а на тюнинге уже попробовать подобрать модель поточнее.
затраты на реализацию подхода
С помощью костылей это можно сделать быстро) Но вообще это просто как возможный вариант на случай, если операции будут хоть немного рефакториться.
С помощью костылей это можно сделать быстро
Если по итогам испытаний "костыльной" реализации будет видно что такой подход (выбирать не конкретные модели а их тип) дает преимущество - то можно будет и реализовать полноценно.
Сходу имею сомнения - ожидал бы что результат будет очень чувствителен к конкретному типу модели. Как вариант, можно только первые N поколений так делать.
Тут согласен - если есть понимание того, как сделать быстрый proof-of-concept и проверить подход на pytsbe или на своем бенчмарке - то можно попробовать