Mètodes d'aprenentatge de gradient proximal
Els mètodes d'aprenentatge de gradient proximal (divisió cap endavant cap enrere) són una àrea d'investigació en l'optimització i la teoria de l'aprenentatge estadístic que estudia algorismes per a una classe general de problemes de regularització convex on la penalització de regularització pot no ser diferenciable. Un d'aquests exemples és regularització (també coneguda com Lasso) de la forma
Els mètodes de gradient proximal ofereixen un marc general per resoldre problemes de regularització a partir de la teoria de l'aprenentatge estadístic amb penalitzacions que s'adapten a una aplicació de problema específica.[1][2] Aquestes penalitzacions personalitzades poden ajudar a induir una certa estructura en les solucions de problemes, com ara l'esparsa (en el cas de lazo) o l'estructura de grup (en el cas de lasso de grup).
Els mètodes de gradient proximal són aplicables en una gran varietat d'escenaris per resoldre problemes d'optimització convex de la forma
on és convex i diferenciable amb el gradient continu de Lipschitz, és una funció semicontinua inferior convexa que possiblement no és diferenciable, i és un conjunt, normalment un espai de Hilbert. El criteri habitual de minimitza si i només si a la configuració convexa, diferenciable ara es substitueix per
on denota el subdiferencial d'una funció convexa de valor real .
Donada una funció convexa un operador important a tenir en compte és el seu operador proximal definit per
que està ben definit per l'estricta convexitat de la norma. L'operador proximal es pot veure com una generalització d'una projecció.[3][4][5] Veiem que l'operador de proximitat és important perquè és un minimitzador del problema si i només si
on és qualsevol nombre real positiu.[6]
Referències
- ↑ Combettes, Patrick L.; Wajs, Valérie R. Multiscale Model. Simul., 4, 4, 2005, pàg. 1168–1200. DOI: 10.1137/050626090.
- ↑ Mosci, S.; Rosasco, L.; Matteo, S.; Verri, A.; Villa, S. Machine Learning and Knowledge Discovery in Databases, 6322, 2010, pàg. 418–433. DOI: 10.1007/978-3-642-15883-4_27 [Consulta: free].
- ↑ Combettes, Patrick L.; Wajs, Valérie R. Multiscale Model. Simul., 4, 4, 2005, pàg. 1168–1200. DOI: 10.1137/050626090.
- ↑ Moreau, J.-J. Comptes Rendus de l'Académie des Sciences, Série A, 255, 1962, pàg. 2897–2899.
- ↑ Bauschke, H.H., and Combettes, P.L.. Convex analysis and monotone operator theory in Hilbert spaces (en anglès). Springer, 2011.
- ↑ Combettes, Patrick L.; Wajs, Valérie R. Multiscale Model. Simul., 4, 4, 2005, pàg. 1168–1200. DOI: 10.1137/050626090.