Reinforcement learning for variational quantum circuit design: a PPO-based approach for solving QUBO problems

Variational Quantum Algorithms (VQAs) have emerged as promising tools for solving complex problems on quantum computers. They iteratively optimize quantum circuit parameters to lower the expectation value of the quantum system energy. One of the challenges of these algorithms is understanding how to identify a suitable circuit for solving a specific problem. In this thesis, we design and implement a Reinforcement Learning agent capable of autonomously generating variational quantum circuits. The Reinforcement Learning framework allows more adaptability, potentially discovering new, unconventional circuit structures that may outperform existing designs. The agent is trained on different instances, learning to build circuits that solve the Maximum Cut, the Maximum Clique and the Minimum Vertex Cover problems on different graph topologies with 8 and 14 vertices. We analyze the circuit gate usage, depth and performance. In particular, by examining the common structure of the circuits identified by the agent trained on the Maximum Cut problem, we were able to infer a novel family of ansatzes that achieve a high approximation ratio. We denote this family as the Ryz -connected circuits. We select a specific Ryz -connected element, denoted as Linear Circuit, and test its performance on problem instances with graphs with up to 16 vertices. The results are compared with state-of-the-art quantum algorithms such as QAOA and its variants and classical algorithms. We show that the Linear Circuit consistently achieves a lower energy expected value than the other algorithms. The use of entanglement and the effectiveness of the Ryz -connected ansatzes can be explained by considering the parametric expression of the expectation value of the Hamiltonian and how the solution space is explored. Furthermore, we show the straightforward hardware implementability of the Ryz -connected ansatzes. Overall, we show that Reinforcement Learning is a promising avenue for building ansatzes aimed at addressing a broad set of problems that are hard to be solved with classical computing.

Gli algoritmi quantistici variazionali si sono affermati come uno strumento promettente per la risoluzione di problemi complessi su computer quantistici. Questi algoritmi ottimizzano iterativamente i parametri dei circuiti quantistici in modo tale da diminuire il valore attesto dell’energia di un sistema quantistico. In questa tesi, progettiamo e implementiamo un agente di Apprendimento per Rinforzo capace di generare circuiti quantistici variazionali autonomamente. Una delle difficoltà di questi algoritmi è l’identificazione di un circuito adatto per la risoluzione di uno specifico problema. Il contesto di Apprendimento per Rinforzo permette una maggiore adattabilità, con la potenzialità di scoprire nuovi circuiti non convenzionali in grado di performare meglio dei circuiti esistenti. L’agente è allenato su diverse istanze, imparando a costruire circuiti per la risoluzione dei problemi del Taglio Massimo, della Cricca Massima e della Copertura Minima dei Vertici su diverse topologie di grafi con 8 e 14 vertici. I circuiti costruiti dall’agente vengono analizzati osservandone l’utilizzo dei gate, la profondità e le prestazioni. Inoltre, esaminando la struttura comune dei circuiti identificati dall’agente allenato sul problema del Taglio Massimo, siamo stati in grado di dedurre una nuova famiglia di ansatz che ottiene un alto rapporto di approssimazione, che denominiamo famiglia Ryz -connessa. In particolare, selezioniamo uno specifico circuito Ryz -connesso, denominato Circuito Lineare, e testiamo le sue prestazioni su istanze di problemi su grafi di dimensione fino a 16 vertici. I risultati sono confrontati con algoritmi quantistici dello stato dell’arte come il QAOA e le sue varianti e con algoritmi classici, mostrando che il Circuito Lineare ottiene consistentemente un valore atteso dell’energia più basso rispetto agli altri algoritmi. L’uso dell’entanglement e l’efficacia degli ansatz Ryz -connessi possono essere spiegati considerando l’espressione parametrica del valore attesto dell’Hamiltoniana e come lo spazio di soluzioni è esplorato. Inoltre, viene mostrata l’immediata implementabilità hardware degli ansatz Ryz -connessi. Nel complesso, mostriamo che il Apprendimento per Rinforzo è una direzione promettente per la costruzione di ansatz con l’obiettivo di affrontare una vasta quantità di problemi che sono difficili da risolvere con i computer classici.