Probabilistic ODE solvers for score-based generative models

Score-based generative models are powerful tools for approximating complex probability distributions, with their sampling process often formulated as solving an ordinary differential equation (ODE). Concurrently, probabilistic ODE solvers have emerged as a Bayesian approach to numerically solve ODEs, with recent advancements enabling their application in high-dimensional settings through factorization assumptions. In this work, we integrate probabilistic solvers into the sampling process of score-based generative models and provide a thorough analysis and comparison of their performance against traditional non-probabilistic solvers.

I modelli generativi basati su score sono strumenti potenti per approssimare distribuzioni di probabilità complesse, e il loro processo di campionamento è spesso formulato come la risoluzione di un’equazione differenziale ordinaria (EDO). Parallelamente, i risolutori probabilistici per EDO sono emersi come un approccio bayesiano alla risoluzione numerica delle EDO, con recenti sviluppi che ne abilitano l’applicazione in contesti ad alta dimensionalità grazie ad assunzioni di fattorizzazione. In questo lavoro, integriamo i risolutori probabilistici nel processo di campionamento dei modelli generativi basati su score e forniamo un’analisi dettagliata e un confronto delle loro prestazioni rispetto ai risolutori tradizionali non probabilistici.