Optimal control of diffusion and marked point processes : solving the control problem with backward stochastic differential equations

The aim of this work is to survey the optimal control theory and the backward stochastic differential equations approach. We extend the theory from diffusive processes to marked point processes, highlighting the significant points in common and the main differences between the two treatments. In particular we show that marked point processes are described in a natural way by the dynamic approach, which links them to the martingale theory through the compensator notion. We consider the specific case of semi-Markov processes, for which we provide an original result concerning the form of their compensator. For both diffusive and marked point processes, we show that backward stochastic differential equations can be used in optimal control theory to represent the value function and to characterize the optimal control.

L'obiettivo di questo lavoro è presentare la teoria del controllo ottimo e l'approccio di risoluzione basato sulle equazioni differenziali stocastiche backward. Estendiamo la teoria nota nel caso di processi diffusivi ai processi di punto marcato, sottolineando i punti in comune e le principali differenze tra le due trattazioni. In particolare mostriamo che i processi di punto marcato sono descritti in modo naturale attraverso il cosiddetto approccio dinamico, che li lega alla teoria delle martingale tramite la nozione di compensatore. Consideriamo il caso specifico dei processi semi-Markov, per il quale forniamo un risultato originale circa la forma del loro compensatore. Per entrambi i processi diffusivi e di punto marcato, mostriamo che le equazioni differenziali stocastiche backward possono essere utilizzate nella teoria del controllo ottimo per rappresentare la funzione valore e caratterizzare il controllo ottimo.