quantum-ods
Доработать лекцию про SVM
Оригинальный PR – #187
Хочется добавить:
- истории, про Вапника и Червоненкиса, оживить статью
- (опционально) про VC-размерность
- про ядра подробнее
- как SVM применяется ко всяким сложным структурам - последовательностям, графам, какие ядра бывают
Было бы круто еще добавить математической перчинки в виде современных способов аппроксимировать большую ядерную матрицу через различные разложения:
- low-rank: Fast Low-Rank Kernel Matrix Factorization through Skeletonized Interpolation by Léopold Cambier, Eric Darve https://arxiv.org/abs/1706.02812
- Kronecker product:
- KoPA: Automated Kronecker Product Approximation by Chencheng Cai, Rong Chen, Han Xiao https://arxiv.org/abs/1912.02392
- Fast Kronecker product kernel methods via generalized vec trick by Antti Airola, Tapio Pahikkala
- Random Features: Quadrature-based features for kernel approximation by Marina Munkhoeva, Yermek Kapushev, Evgeny Burnaev, Ivan Oseledets https://arxiv.org/abs/1802.03832
И ещё для инференса трюки с разложениями из gpytorch https://arxiv.org/abs/1809.11165 вроде как применимы к SVM.
PS: Нужно, конечно, сначала проверить, что методы работают, первые две статьи я сам еще не читал :)
upd: Подключился Алексей Клоков, автор статьи про SVM на хабре со своей реализацией с нуля.
Планируем скрестить с имеющейся статьей и параллельно перевести на англ для этого курса и для mlcourse.ai (для него Алексей еще задание сделает). @SemyonSinchenko согласен на такую колаборацию с млкурсом?
Честно говоря, до многих перечисленных тут хардкорных вещей не доберемся
истории, про Вапника и Червоненкиса, оживить статью
это можно, веселая тема
(опционально) про VC-размерность
упомянуть могу, но без суровой теории
про ядра подробнее как SVM применяется ко всяким сложным структурам - последовательностям, графам, какие ядра бывают
это можно, по диссеру делал. Правда, хз, даже тут SVM уже уступает первенство трансформерам и графовым сеткам
@alexey-pronkin сорри, прочитал твой комент уже давно, тогда не ответил. Я, пожалуй, не потащу. Добавить то, что перечислил, + задание + перевод всего дела на англ. – уже достаточно.
согласен на такую колаборацию с млкурсом?
Я последнее время очень слабо участвую в курсе. Поэтому надо спрашивать @vvssttkk Конкретно я лишь за
upd: Подключился Алексей Клоков, автор статьи про SVM на хабре со своей реализацией с нуля.
Планируем скрестить с имеющейся статьей и параллельно перевести на англ для этого курса и для mlcourse.ai (для него Алексей еще задание сделает). @SemyonSinchenko согласен на такую колаборацию с млкурсом?
Честно говоря, до многих перечисленных тут хардкорных вещей не доберемся
истории, про Вапника и Червоненкиса, оживить статью
это можно, веселая тема
(опционально) про VC-размерность
упомянуть могу, но без суровой теории
про ядра подробнее как SVM применяется ко всяким сложным структурам - последовательностям, графам, какие ядра бывают
это можно, по диссеру делал. Правда, хз, даже тут SVM уже уступает первенство трансформерам и графовым сеткам
@alexey-pronkin сорри, прочитал твой комент уже давно, тогда не ответил. Я, пожалуй, не потащу. Добавить то, что перечислил, + задание + перевод всего дела на англ. – уже достаточно.
делай, в этом году ожидать?
@vvssttkk привет! Уточнял. Не, в этом году ожидать не стоит, все же конец года, все дела.
Какие вообще планы? Если Семён не в деле, то, честно говоря, я не представляю, что куда может двигаться.