Probabilistic representation of HJB equations for optimal control of jump processes, BSDEs and related stochastic calculus

In the present document we treat three different topics related to stochastic optimal control and stochastic calculus, pivoting on the notion of backward stochastic differential equation (BSDE) driven by a random measure. The three first chapters of the thesis deal with optimal control for different classes of non-diffusive Markov processes, in finite or infinite horizon. In each case, the value function, which is the unique solution to an integro-differential Hamilton-Jacobi-Bellman (HJB) equation, is probabilistically represented as the unique solution of a suitable BSDE. In the first chapter we control a class of semi-Markov processes on finite horizon; the second chapter is devoted to the optimal control of pure jump Markov processes, while in the third chapter we consider the case of controlled piecewise deterministic Markov processes (PDMPs) on infinite horizon. In the second and third chapters the HJB equations associated to the optimal control problems are fully nonlinear. Those situations arise when the laws of the controlled processes are not absolutely continuous with respect to the law of a given, uncontrolled, process. Since the corresponding HJB equations are fully nonlinear, they cannot be represented by classical BSDEs. In these cases we have obtained nonlinear Feynman-Kac representation formulae by generalizing the control randomization method introduced in Kharroubi and Pham (2015) for classical diffusions. This approach allows us to relate the value function with a BSDE driven by a random measure, whose solution has a sign constraint on one of its components. Moreover, the value function of the original non-dominated control problem turns out to coincide with the value function of an auxiliary dominated control problem, expressed in terms of equivalent changes of probability measures. In the fourth chapter we study a backward stochastic differential equation on finite horizon driven by an integer-valued random measure p on R_+ x E, where E is a Lusin space, with compensator q(dt,dx)=dA_t Q_t(dx). The generator of this equation satisfies a uniform Lipschitz condition with respect to the unknown processes. In the literature, well-posedness results for BSDEs in this general setting have only been established when A is continuous or deterministic. We provide an existence and uniqueness theorem for the general case, i.e. when A is a right-continuous nondecreasing predictable process. Those results are relevant, for example, in the framework of control problems related to PDMPs. Indeed, when p is the jump measure of a PDMP on a bounded domain, then A is predictable and discontinuous. Finally, in the two last chapters of the thesis we deal with stochastic calculus for general discontinuous processes. In the fifth chapter we systematically develop stochastic calculus via regularization in the case of jump processes, and we carry on the investigations of the so-called weak Dirichlet processes in the discontinuous case. Such a process X is the sum of a local martingale and an adapted process B such that [N, B] = 0, for any continuous local martingale N. Given a function u:[0,T] x R --> R, which is of class C^{0,1} (or sometimes less), we provide a chain rule type expansion for u(t,X_t), which constitutes a generalization of Ito's lemma being valid when u is of class C^{1,2}. This calculus is applied in the sixth chapter to the theory of BSDEs driven by random measures. In several situations, when the underlying forward process X is a special semimartingale, or, even more generally, a special weak Dirichlet process, we identify the solutions (Y,Z,U) of the considered BSDEs via the process X and the solution u to an associated integro-partial differential equation.

Nel presente documento trattiamo tre diversi argomenti legati al controllo ottimo stocastico e al calcolo stocastico, che ruotano attorno alla nozione di equazione stocastica differenziale retrograda (EDSR) guidata da una misura aleatoria. I primi tra capitoli della tesi si occupano di controllo ottimale per diverse classi di processi markoviani non diffusivi, su orizzonte finito ed infinito. In ciascuno dei suddetti casi, la funzione valore, che è l’unica soluzione di un’equazione integro-differenziale di Hamilton-Jacobi-Bellman (HJB), è rappresentata probabilisticamente come l’unica soluzione di una opportune EDSR. Nel primo capitolo controlliamo una classe di processi semi-markoviani su orizzonte finito; il secondo capitolo è dedicato al controllo ottimo di processi di puro salto, mentre nel terzo capitolo consideriamo il caso di processi markoviani deterministici a tratti (PMDTs) su orizzonte infinito. Nel secondo e nel terzo capitolo l’equazione di HJB associata ai problemi di controllo è completamente non lineare. Queste situazioni si verificano quando le leggi dei processi controllati non sono assolutamente continui rispetto alla legge di un dato processo non controllato. Poiché le equazioni di HJB corrispondenti sono completamente non lineari, esse non possono essere rappresentate tramite classiche EDSRs. In questi casi abbiamo ottenuto formule non lineari di tipo Feynman-Kac generalizzando il metodo di randomizzazione del controllo introdotto da Kharroubi e Pham (2015) per le diffusioni classiche. Questo approccio ci permette di associare la funzione valore ad una EDSR guidata da una misura aleatoria, la cui soluzione ha un vincolo di segno su una delle sue componenti. Inoltre, la funzione valore del problema originale non controllato risulta coincidere con la funzione valore di un problema di controllo ausiliario dominato, espresso in termini di cambi equivalenti di misure di probabilità. Nel quarto capitolo studiamo una equazione differenziale stocastica retrograda su orizzonte finito guidata da una misura aleatoria a valori interi p su R_+ x E, dove E è uno spazio di Lusin, con compensatore q(dt,dx)=dA_t Q_t(dx). Il generatore di questa equazione soddisfa una condizione di uniforme Lipschitzianità rispetto ad un processo incognito. In letteratura, risultati di buona positura per EDSRs in questo contesto generale sono stati stabiliti quando A è continuo o deterministico. Noi forniamo un teorema di esistenza ed unicità nel caso generale, ovvero quando A è un processo prevedibile continuo a destra e non decrescente. Questi risultati sono importanti, per esempio, nell’ambito dei problemi di controllo per PMDTs. Infatti, quando p è la misura di salto di un PMDT su un dominio limitato, allora A è prevedibile e discontinuo. Infine, negli ultimi due capitoli della tesi ci occupiamo di calcolo stocastico per processi discontinui generali. Nel quinto capitolo sviluppiamo sistematicamente il calcolo stocastico via regolarizzazione nel caso di processi a salto, e proseguiamo l’investigazione circa i cosiddetti processi di Dirichlet deboli nel caso discontinuo. Un tale processo X è la somma di una martingala locale M ed un processo adattato B tale che N, B] = 0 per ogni martingala locale continua N. Data una funzione u: [0, T] x R --> R di classe C^{0,1} (o talvolta meno regolare), forniamo una formula di tipo “chain rule” per u(t,X_t), la quale costituisce una generalizzazione del lemma di Ito (valido invece quando u è di classe C^{1,2}). Questo calcolo è applicato nel sesto capitolo alla teoria delle EDSRs guidate da misure aleatorie. In numerose situazioni, quando il processo sottostante X è una semimartingala speciale, o anche, più generalmente, un processo speciale di Dirichlet debole, identifichiamo la soluzione (Y, Z, U) della EDSR considerata tramite il processo X e la soluzione u di un’equazione associata integro-differenziale.