Identification of initial test set for incremental diagnosis

Abstract The MS Thesis Identification of Initial Test set for Incremental Diagnosis is about analysis and development of a methodology for automatic testing strategy for complex systems. In other words we solve the problem of finding the best test set for beginning the tests for finding the faulty component. We formulate the problem which we are going to solve as a set covering problem where we need to cover all components of a system (a digital device) with proper tests, in order to identify the most likely component containing a failure, minimizing at the same time the number of tests. By studying different methodologies which work in the field of set covering problem and analyzing them, we applied a method based on binary optimization. We introduce first the methodology which have been used to perform test sets called incremental Automatic Functional Fault Detective, so by using the results obtained from applying this method we begin to perform our computations. We present two methods, dubbed as Sum method and Logarithm method, based on different considerations about the a-posteriori probabilities of test outcomes (conditional probabilities with respect to component faulty status). The translation of the concept of minimal test set introduces different types of constraints, producing different results of optimization solution. For further considerations we made robustness on both of these methods and run the computations, both on in the case of equivalent test cost, and in the case where a custom cost is attributed to each available test. Method efficiency and analysis on timing complete the results. The Matlab Optimization framework was used to implement the algorithms. The results have been collected, we analyze the behavior of the charts draw from the results and also comparing the results of Sum method and Logarithm method, and analyzing the robustness on them we make the conclusion on the results which shows that the implemented methods returns acceptable results. By running experiments based on the customization of both methods and collecting the results and comparing the behavior of the result with previous results obtained from methods, we have adequate results. As conclusion we assume that the introduced methods and results of experiments return satisfying results for performing an automatic testing strategy for complex systems.

Abstract La Tesi “Identificazione del Test set iniziale per Diagnosi Incrementale” si occupa dell’analisi e lo sviluppo di una metodologia per il controllo automatico di sistemi complessi. In altre parole affronta il problema di trovare il migliore test-set iniziale per garantire la stabilità e il corretto comportamento di una metodologia per la ricerca di componenti guasti in una scheda elettronica. Il problema che ci accingiamo a risolvere è di tipo “set covering”: al fine di garantire che un qualsiasi guasto su ogni componente di un sistema venga rilevato; obiettivo è minimizzare il numero di test che compongono questo inseime test-set. Attraverso lo studio e l’analisi di differenti metodologie riguardanti il problema del set-covering, ci si è basati sulla modellizzazione e implementazione di algoritmi risolutivi attraverso la programmazione binaria intera (Binary Integer Programming). Per l'inizio degli esperimenti dobbiamo, prima di tutto, definire i test da esegure sulla scheda elettronica. La metodologia “incremental Automatic Functional Fault Detective” definisce una strategia ottimale per la scelta dei test da eseguire per minimizzare il numero totale di test. Il presente lavoro si occupa di identificare un sottoinsieme minimale di test la cui applicazione garantisca che l’esecuzione della metodologia iAFD sia in grado di rilevare ogni possibile guasto su un componente. Due metodi sono stati introdotti, il “Sum method” e il “Logarithm method”. Questi si differenziano per la formulazione dei vincoli di ottimalità sulla copertura dei singoli componenti fornita dai test, basata su una differente interpretazione delle probabilità a posteriori dell’esito dei test stessi. Oltre al calcolo delle soluzioni ottime su alcuni casi di test, alcune considerazioni sulla robustezza dei metodi sono state estratte. Inoltre, un costo ad ogni test; in questo modo possiamo avere, allo stesso tempo, risultati efficienti dal punto di vista dei costi, supponendo che il tempo medio sia stato misurato in tutti i casi. Per eseguire gli esperimenti abbiamo utilizzato l’ambiente di ottimizzazione numerica di Matlab. Dopo che sono stati effettuati tutti gli esperimenti con i metodi “Sum method” e “Logarithm method”, il calcolo robusto è stato applicato ad essi e sono stati raccolti i risultati, di cui abbiamo analizzato il comportamento. Abbiamo quindi confrontato i risultati dei due metodi “Sum method” e “Logarithm method” e analizzato l’effetto del calcolo robusto su di essi; abbiamo quindi tratto una conclusione riguardo i risultati, che dimostra che i metodi implementati forniscono risultati accettabili. Eseguendo esperimenti basati sulla personalizzazione di entrambi i metodi, raccogliendo i risultati e confrontando il comportamento di essi con i precedenti risultati ottenuti con i due metodi, abbiamo ottenuto risultati simili. In conclusione, possiamo affermare che i metodi introdotti forniscono risultati soddisfacenti per l’implementazione di una strategia di test automatico per sistemi complessi.