Computer generated holography for augmented reality applications

Holographic displays are widely regarded as a leading candidate for next-generation three-dimensional visualization because they can shape the optical wavefront and, in principle, provide the full set of depth cues available to human vision. This capability is particularly attractive for augmented-reality (AR) near-eye systems, where comfortable visualization should be central to user-oriented design, and where conventional stereoscopic solutions can suffer from the vergence–accommodation conflict. In a holographic display, a three-dimensional virtual scene is encoded into a computer-generated hologram (CGH) and optically reconstructed by modulating coherent light with a reconfigurable diffractive device, most commonly a phase-only spatial light modulator (SLM). Overall, this enables pixel-level control over accommodation cues and depth. Despite this potential, practical holographic near-eye displays are constrained by a set of challenges that span computation, image quality, and hardware implementation. First, CGH relies on numerical diffraction simulation and phase-only encoding at high resolution, which can be difficult to sustain under the strict time budgets required for real-time interaction. Second, phase-only encoding combined with coherent illumination introduces speckle-like artifacts and intensity non-uniformities that degrade perceived reconstructions. Third, SLM non-idealities such as limited update dynamics restrict practical refresh and multiplexing strategies, while strong zero-order diffraction leakage can corrupt a significant portion of the usable field of view. In addition, system-level constraints related to optical size, alignment, and scalability must be considered when assessing the feasibility of near-eye holographic projectors. Motivated by these limitations, this thesis investigates the possibilities and constraints of CGH for AR projection through a bottom-up approach, targeting three obstacles that strongly impact system feasibility: (I) speckle-related image degradation, (II) computational scalability toward real-time operation, and (III) zero-order diffraction leakage, while also exploring practical routes to full-color holography. To address the first two obstacles, a new scene representation tailored to sparse AR content is developed, in which three-dimensional geometries are described by analytically defined line-segment primitives (wireframe holography). Each segment is encoded by a closed-form phase pattern with an astigmatic interpretation, enabling visually continuous reconstructions without relying on dense point sampling. Computational scaling is validated on representative geometries, demonstrating orders-of-magnitude lower computation time than point-based sampling at comparable visual completeness. Building on this representation, wireframe targets are integrated into phase-only optimization algorithms and evaluated through image-quality metrics and optical reconstructions. Under a real-time constraint of 33 ms per hologram (30 Hz) enabled by GPU acceleration, achieving the image quality associated with iterative convergence becomes a major challenge; therefore, time-constrained optimization is pursued through compressed-sensing variants (CS-GS/CS-WGS) that update subsets of pixels and primitives per iteration. This strategy yields substantial uniformity gains within strict time limits and provides performance maps as a function of scene complexity and compression factor. To address the third obstacle, the thesis tackles the native zero-order field produced by phase-only SLMs, showing that a prominent hardware artifact can be mitigated through an algorithmic, measurement-driven approach. A camera-in-the-loop interferometric method is introduced to estimate and cancel the zero-order field, achieving up to 99% suppression with a negligible efficiency penalty. Finally, full-color operation is explored via RGB time multiplexing, discussing multi-wavelength SLM calibration, wavelengthdependent spatial rescaling, and precise timing synchronization between display and light sources. Measurements indicate that liquid-crystal settling dynamics, rather than laser switching, dominate real-time RGB limitations in time-multiplexed operation, motivating sub-frame laser gating, content-dependent color–energy balancing, and the role of human color perception as relevant directions for future work. Overall, this work establishes initial experimental and methodological foundations for AR-oriented CGH research in the Smart Eyewear Lab, identifying key opportunities and critical bottlenecks on the path toward scalable near-eye holographic displays.

I display olografici sono ampiamente considerati come un candidato principale per la visualizzazione tridimensionale di prossima generazione poiché possono modellare il fronte d’onda ottico e, in linea di principio, fornire l’insieme completo di indizi di profondità disponibili per la visione umana. Questa capacità è particolarmente interessante per i sistemi a realtà aumentata (AR) "near-eye", dove una visualizzazione confortevole dovrebbe essere centrale nel design orientato all'utente, e dove le soluzioni stereoscopiche convenzionali possono soffrire del conflitto tra vergenza e accomodamento. In un display olografico, una scena virtuale tridimensionale viene codificata in un ologramma generato al computer (CGH) e ricostruita otticamente modulando la luce coerente con un dispositivo diffrattivo riconfigurabile, più comunemente un modulatore spaziale di luce (SLM) a sola fase. Complessivamente, ciò consente un controllo a livello di pixel sugli indizi di accomodamento e sulla profondità. Nonostante questo potenziale, i display olografici near-eye pratici sono limitati da una serie di sfide che spaziano dal calcolo alla qualità dell'immagine, fino all'implementazione hardware. In primo luogo, il CGH si basa sulla simulazione numerica della diffrazione e sulla codifica a sola fase ad alta risoluzione, che può essere difficile da sostenere sotto i rigorosi limiti temporali richiesti per l'interazione in tempo reale. In secondo luogo, la codifica a sola fase combinata con l'illuminazione coerente introduce artefatti di tipo "speckle" e non uniformità di intensità che degradano le ricostruzioni percepite. In terzo luogo, le non idealità degli SLM, come la dinamica di aggiornamento limitata, restringono le pratiche strategie di refresh e multiplexing, mentre la forte dispersione della diffrazione di ordine zero può corrompere una parte significativa del campo visivo utilizzabile. Inoltre, i vincoli a livello di sistema relativi alle dimensioni ottiche, all'allineamento e alla scalabilità devono essere considerati nel valutare la fattibilità dei proiettori olografici near-eye. Motivata da queste limitazioni, questa tesi studia le possibilità e i vincoli del CGH per la proiezione AR attraverso un approccio "bottom-up", puntando a tre ostacoli che influenzano fortemente la fattibilità del sistema: (I) il degrado dell'immagine legato allo speckle, (II) la scalabilità computazionale verso il funzionamento in tempo reale e (III) la dispersione della diffrazione di ordine zero, esplorando al contempo percorsi pratici verso l'olografia a colori (full-color). Per affrontare i primi due ostacoli, viene sviluppata una nuova rappresentazione della scena su misura per contenuti AR sparsi, in cui le geometrie tridimensionali sono descritte da primitive a segmenti di linea definite analiticamente (olografia wireframe). Ogni segmento è codificato da un pattern di fase in forma chiusa con un'interpretazione astigmatica, consentendo ricostruzioni visivamente continue senza fare affidamento su un campionamento denso di punti. La scalabilità computazionale è convalidata su geometrie rappresentative, dimostrando tempi di calcolo inferiori di ordini di grandezza rispetto al campionamento basato su punti a parità di completezza visiva. Partendo da questa rappresentazione, i target wireframe vengono integrati in algoritmi di ottimizzazione a sola fase e valutati attraverso metriche di qualità dell'immagine e ricostruzioni ottiche. Sotto un vincolo in tempo reale di 33 ms per ologramma (30 Hz) abilitato dall'accelerazione GPU, raggiungere la qualità dell'immagine associata alla convergenza iterativa diventa una sfida importante; pertanto, l'ottimizzazione a tempo limitato viene perseguita attraverso varianti di "compressed-sensing" (CS-GS/CS-WGS) che aggiornano sottoinsiemi di pixel e primitive per iterazione. Questa strategia produce sostanziali guadagni di uniformità entro stretti limiti di tempo e fornisce mappe di prestazioni in funzione della complessità della scena e del fattore di compressione. Per affrontare il terzo ostacolo, la tesi affronta il campo nativo di ordine zero prodotto dagli SLM a sola fase, dimostrando che un prominente artefatto hardware può essere mitigato attraverso un approccio algoritmico guidato dalle misurazioni. Viene introdotto un metodo interferometrico "camera-in-the-loop" per stimare e cancellare il campo di ordine zero, ottenendo una soppressione fino al 99% con una penalità di efficienza trascurabile. Infine, viene esplorato il funzionamento a colori tramite multiplexing temporale RGB, discutendo la calibrazione degli SLM multi-lunghezza d'onda, il riscalamento spaziale dipendente dalla lunghezza d'onda e la precisa sincronizzazione temporale tra display e sorgenti luminose. Le misurazioni indicano che la dinamica di assestamento dei cristalli liquidi, piuttosto che la commutazione del laser, domina i limiti RGB in tempo reale nel funzionamento a multiplexing temporale, motivando il "gating" del laser a livello di sub-frame, il bilanciamento colore-energia dipendente dal contenuto e il ruolo della percezione del colore umana come direzioni rilevanti per il lavoro futuro. Complessivamente, questo lavoro stabilisce le basi sperimentali e metodologiche iniziali per la ricerca CGH orientata all'AR presso lo Smart Eyewear Lab, identificando opportunità chiave e colli di bottiglia critici nel percorso verso display olografici near-eye scalabili.