Information rate of channels with memory by Bayesian tracking

Increasingly, in many engineering fields, a more appropriate characterization of the dynamical systems leads to a model where an accurate description of the underlying dynamics is obtained by including elements of non-linearity and non-Gaussianity. In the context of digital transmission systems the computation of posterior probabilities of the hidden Markov state of such systems is often required. In these cases the exact Bayesian tracking of a posteriori probabilities of the state often becomes not feasible and, therefore, resorting to approximated methods becomes necessary. Among the techniques that realize approximated tracking, the extended Kalman filter, the state-space quantization, and the particle filtering method can be taken into account. Specifically, this last technique is a sequential Monte Carlo approach based on point mass representations of probability densities. Particle filtering, that can be seen as a generalization of the traditional Kalman filtering, can be applied to any state-space model, starting from the definition of the state transition and observation models and without restrictive assumptions. For these reasons, it has found widespread application in many research fields. The thesis focuses on computing the information rate of channels with memory, where the a posteriori probabilities cannot be exactly tracked, such as Wiener's phase noise channel, autoregressive moving-average phase noise channel, and Gauss-Markov fading channel. Starting from the definition of mutual information, that is very difficult to compute for these channels, approximated Bayesian tracking can be used to calculate upper and lower bounds to the information rate. The goal of the work is to obtain upper and lower bounds as close as possible to each other, in order to compute an information rate close to actual one. The Shannon information rate of a Markov channel can be achieved also by ideal demodulation, which cannot be often adopted in practical system. The iterative demodulation and decoding schemes try to reach the performance of ideal demodulation. An other goal of the work is the study of the Bayesian tracking methods to extract all the information about the transmitted symbols in a new iterative demodulation and decoding scheme.

In molti settori ingegneristici, la caratterizzazione dei sistemi dinamici conduce a modelli in cui sono inclusi elementi di non linearità e non gaussianità. Nel campo dei sistemi di trasmissione digitale si richiede spesso l'elaborazione delle probabilità a posteriori di uno stato Markoviano nascosto che definisce il canale di trasmissione. In questo caso, il tracking delle probabilità dello stato diventa spesso infattibile, proprio a causa della presenza di elementi di non linearità e non gaussianità nel modello di trasmissione, e per questo diventa necessario l'uso di metodi di tracking approssimato. Alcune tecniche di tracking approssimato sono: il filtro esteso di Kalman, la quantizzazione dello spazio degli stati, e il filtro particellare. Quest'ultimo metodo, che può essere visto come una generalizzazione del filtro di Kalman, può essere applicato a qualsiasi modello Markoviano, a partire dall'equazione di transizione dello stato e dall'equazione di musura, senza nessuna restrizione particolare. Per questo motivo, il filtro particellare continua ad avere successo in diversi campi di ricerca. La tesi si preoccupa di descrivere alcuni metodi di calcolo dell'informazione mutua di canali con memoria, in cui le probabilità a posteriori dello stato non posso essere inferite in modo esatto, come il canale con rumore di fase di tipo Wiener, quello con rumore di fase di tipo ARMA, e il canale con fading di tipo Gauss-Markov. Partendo dalla definizione di informazione mutua, quantità difficile da calcolare in questi canali di comunicazione, i metodi di tracking approssimativo possono essere impiegati per elaborarne dei limiti superiori ed inferiori. L'obbiettivo è quello di avere questi limiti vicini tra loro in modo da ottenere la reale informazione mutua del canale. L'informazione mutua di una canale Markoviano può essere ottenuta anche atraverso la demodulazione ideale, che in sistemi pratici non può essere adottata. Gli schemi di demodulazione e decodifica iterativa provano a raggiungere le stesse prestazioni della demodulazione ideale. Un altro obbiettivo è lo studio dei metodi di tracking Bayesiano per estrarre tutta l'informazione relativa ai simboli trasmessi in un nuovo schema di demodulazione e decodifica iterativa.