Machine learning and portfolio optimization: a performance-based regularization approach

Classical portfolio optimization often performs poorly with real data because the inputs are estimated with error. This issue can be mitigated by incorporating tools from machine learning. A method called performance-based regularization (PBR) is proposed, which limits the sample variances of the estimated portfolio return and risk, thereby driving the solution toward portfolios with smaller performance estimation errors. PBR is applied to both mean–variance and mean–CVaR portfolio problems. In the mean–variance case, PBR adds a quartic constraint, which is replaced with two convex approximations: one based on a rank-1 approximation and one based on a quadratic approximation that shrinks the sample covariance matrix. In the mean–CVaR case the PBR model is combinatorial but its convex relaxation as a quadratically constrained quadratic program is essentially exact. The PBR models can be written as robust optimization problems with new uncertainty sets and asymptotic optimality is established for both the standard sample average approximation (SAA) and PBR efficient frontiers. To select the PBR constraint levels, performance-based k-fold cross-validation procedures are developed. In empirical tests on Fama–French data, PBR outperforms SAA, L1 and L2 regularization, and the equally weighted portfolio in two of three data sets.

La teoria classica dell’ottimizzazione di portafoglio spesso fornisce prestazioni insoddisfacenti sui dati reali poiché gli input sono stimati con errore. Questo problema può essere mitigato integrando tecniche di machine learning. Viene proposto un metodo chiamato performance-based regularization (PBR) che limita le varianze campionarie del rendimento e del rischio stimati del portafoglio, guidando così la soluzione verso soluzioni con errori di stima delle prestazioni più contenuti. La PBR è applicata sia ai problemi di portafoglio media–varianza sia ai problemi media–CVaR. Nel caso media–varianza, la PBR aggiunge un vincolo quartico che viene sostituito da due approssimazioni convesse: una basata su un’approssimazione di rango-1 e una basata su un’approssimazione quadratica che riduce la matrice di covarianza campionaria. Nel caso media–CVaR, il modello PBR è di natura combinatoria, ma la sua rilassazione convessa formulata come un programma quadratico con vincoli quadratici risulta essenzialmente esatta. I modelli PBR possono essere formulati come problemi di ottimizzazione robusta con nuovi insiemi di incertezza e si dimostra l’ottimalità asintotica sia per le frontiere efficienti ottenute con la standard sample average approximation (SAA) sia per quelle basate su PBR. Per scegliere i livelli dei vincoli PBR vengono sviluppate procedure di validazione incrociata k-fold basate sulla performance. Nei test empirici sui dati di Fama–French la PBR supera, in due dei tre insiemi di dati considerati, la SAA, la regolarizzazione L1 e L2 e il portafoglio equiponderato.