Development and application of vision-based measuring techniques in dynamic application

Novel non-contact measuring techniques have been widely applied to measure the motion of different targets. In this work, the measurement of the angles of helicopter blades during flight is the goal to further develop strategies for the reduction of the emitted noise. Vision-based measuring technique as the best solution is developed and applied, compared with the traditional contact measuring techniques and other non-contact measuring techniques. There are two approaches for the angle measurement, hub-mounted approach and beanie-mounted approach. For hub-mounted approach, the critical point is to develop a novel vision-based measuring technique for the narrow space application. A single camera system is developed. Geometrical relationship model avoiding the spatial reconstruction is proposed to realize the motion recovery of the blade. Simple flapping test is conducted to verify the basic idea of the model. However, complex motion coupling three degrees of freedom of the angles results in the negative effect of the accuracy. To overcome this problem, iteration algorithm is developed. Numerical analysis verifies the algorithm. To be mentioned, the geometrical relationship model can fit arbitrary configuration of the pattern of the target, which means it’s good for narrow space measurement. Because narrow space leads portion of target is missing with respect to complex motion of the blade. Numerical analysis further shows the accuracy of the measurement can be controlled based on iteration algorithm. Moreover, the robustness of the model with respect to different noise levels is evaluated. Although the model is a good potential candidate for narrow space measurement, the assumption of the model that the camera coordinate system should be parallel to the rotation coordinate system of the blade and complex calibration procedure limit the application. Therefore, the beanie-mounted approach without narrow space constraint is considered in the following. For beanie-mounted approach, 2D laser triangulation and vision-based measuring techniques including a single camera and stereo camera are considered in the preliminary selection. The basic measurement principle is determined based on tracking the special feature of the blade and the angle of the blade is recovered from the spatial coordinates of the feature by means of solving the inverse problem. Further, for different measuring systems, different algorithms to estimate the angle of the blade are developed. The qualification of the three solutions is evaluated by means of vibration tests, rotation and vibration tests and accuracy tests. All of the three solutions can work well in the dynamic condition. For accuracy tests AgustaWestland AW139 helicopter is the target for the measurement system and is applied to simulate complex motion of the blade. The stereo camera system shows better performance than the other two solutions and satisfies the discrepancy of the lag-flap-pitch angle is lower than 0.3⁰. Therefore, the stereo camera system is considered as the feasible solution for the final real flight test. For the angle of the measurement, the accuracy of the measurement is concerned especially in the harsh dynamic conditions during the real flight. Obviously high vibration, high centrifugal force, unstable lighting condition and high sampling frequency can be presented. Robust and reliable measuring algorithms must be developed further based on the preliminary selection result. For the stereo camera system, the pattern of the object with eight black blobs is designed to be attached on the surface of the tension link, which connects the blade and the hub of the helicopter. The angle of the blade is estimated by means of tracking the eight blobs and solving the inverse problem. Two algorithms, the pseudo inverse algorithm and the singular value decomposition (SVD) algorithm, can be applied to solve the inverse problem. The two algorithms show they have good robust qualification in case of different noise levels. However, the SVD algorithm is more robust in case that there is a shift of the target due to the deformation of the structure in harsh dynamic condition. In addition, by means of the blade motion test rig, the discrepancy of the 1st harmonic of three angles is smaller with respect to SVD method. Finally, the SVD algorithm is confirmed as the solution for the inverse problem. In order to measure the angle of the blade, a calibration procedure to estimate the rotor translation parameters between the stereo camera system and the blade rotation system is required. Generally the conventional calibration method is to set the blade at the zero positon, which means lag angle, flap angle and pitch angle are zero. However, it is difficult to satisfy this condition in the real application. Therefore, an advanced calibration procedure is developed. That is giving arbitrary and known blade angles as the calibration position, the rotor translation parameters are estimated. A simple test rig is developed to validate the method. The result shows it can work well. To be mentioned, even if one known blade angle is given with high uncertainty, it will not lead to high uncertainty of the other two angles. It is important for the real application because it is difficult to measure the lag angle exactly for the calibration. Before the final flight test, a series of laboratory tests are conducted to confirm the parameters and the qualification of the full scale measurement system with a helicopter beanie, including stereo camera, lighting device, data acquisition and trigger distributor unit. The results of modal tests, rotation tests, vibration tests, sunlight sensitivity tests and accuracy tests determine the measurement system can be applied in the dynamic condition. In the accuracy tests, the pattern size is optimized. Finally, the smallest pattern with the diameter of the pattern 10mm and the spacing size of the blob 15mm is selected, considering the trade-off between the accuracy and the risk of missing blobs. In addition, an advanced blob matching algorithm is developed to solve the ambiguous problem. The algorithm shows its robustness for different patterns. Finally, the measurement prototype system coupled with the helicopter is evaluated in an extensive flight test measurement during the real flight. The harsh measurement condition in real fight is more complex than that in the laboratory condition. Some blobs are probably missing due to the unstable lighting conditions. In order to measure the correct angles, improved algorithms, including data synchronization, detecting wrong blobs, an improved blob matching algorithm and position estimation for the correct blob missing, are developed. More than 1 hour continuous measurement shows the qualification of these algorithms and also the results of the measurement are acceptable, compared with the contact measurement system MovPal. In addition, in order to realize 35Hz sampling frequency, a novel data transmission method is applied to save the bandwidth.

Le tecniche di misura basate sull’acquisizione e l’analisi di immagini sono oggigiorno ampiamente applicate in diversi settori industriali e nella ricerca. Scopo di questo lavoro e realizzare un sistema di misura senza contatto per la stima degli angoli delle pale di elicottero durante il volo, anche al fine di ottenere informazioni per lo sviluppo di nuove strategie di controllo delle pale stesse, al fine di ridurre il rumore emesso. Nell’ambito delle tecniche di misura senza contatto la soluzione migliore per la misure degli angoli pala è risultata essere la visione 3D. Da un punto di vista generale, esistono due approcci per la misurazione degli angoli di pala: l'approccio con sistema di misura montato sull’hub (elemento di supporto della pala) e l'approccio con montaggio sul beanie (ovvero sulla parte superiore del rotore). Il montaggio sull’hub mostra una criticità dovuta al ridotto spazio disponibile; per questo motivo in questo caso si ricorrerà nella tesi ad un sistema di misura basato su una singola telecamera. Questo approccio di misura ha richiesto lo sviluppo di un modello geometrico del cinematismo fra hub e pala, al fine di interpretare i dati provenienti dal sistema di visione e risalire agli angoli di pala. La validazione sperimentale del sistema basato su hub è stata realizzata mediante un sistema sperimentale appositamente sviluppato ed in grado di imporre angoli di flappeggio controllati. Tuttavia il moto reale delle pale genera un accoppiamento fra i tre gradi di libertà della pala, ovvero i 3 angli di pala, e questo ha un significativo impatto sull’incertezza, se non viene adeguatamente modellato. Tale aspetto è stato risolto sviluppando un algoritmo iterativo di soluzione, che permette di tenere conto di tutti e 3 i gradi di libertà. Quest’ultimo algoritmo è stato validato per via numerica. L'analisi numerica ha dimostrato che l'accuratezza della misura può essere controllata in base all'algoritmo di iterazione, sebbene vi siano ovviamente limiti alla riduzione dovuti al rumore sui dati acquisiti. L’approccio basato su sensori montati sull’hub, sebbene mostri buone potenzialità in termini di accuratezza della misura, ha un significativo limite applicativo per via del ridottissimo spazio disponibile fra hub e radice pala. Inoltre le tecniche di taratura per questo tipo di sistema di misura risultano essere piuttosto complesse, riducendo di fatto l’interesse applicativo su larga scale di questo tipo di sistema. Per questi motivi il sistema basato su telecamera sull’hub è stato abbandonato, a favore delle soluzioni con sensori montati sul beanie. L'approccio con sensori montati permette di analizzare più di una soluzione tecnologica, in particolare sono stati sviluppati 3 diversi sistemi di misura, tutti con sensori installati nel beanie e con target montato sulla radice pala. Una prima soluzione è basata su un sensore laser a triangolazione 2D, mentre e altre 2 tecniche sono basate su sistemi di visione: in un caso un sistema costituito da una singola telecamera, nell’altro caso un sistema basato su un sistema stereoscopico. Il sistema basato su laser 2D è costituito dal sensore laser sul beanie e da un target di geometria controllata e nota sulla radice pala. Il principio di funzionamento di questo sistema è sinteticamente il seguente: il laser rileva il profilo del target sulla radice pala al generico istante temporale, l’analisi di tale profilo permette di ricavare la posizione 3D di un set di punti caratteristici del target, dall’analisi di tali coordinate è possibile risalire agli angoli di pala. I sistemi di visione invece, permettono di stimare gli angoli di pala a partire dalle coordinate nel piano immagine di una serie di elementi circolari neri su sfondo bianco, solidali con la radice pala. Le tecniche di analisi sono profondamente diverse nel caso di singola telecamera o di telecamera stereoscopica, tuttavia sono stati sviluppati e validati sperimentalmente degli algoritmi di analisi specifici per ciascun approccio, in modo da poter ricavare gli angoli di pala. Tutte e 3 le soluzioni basate su sensori sul beanie sono state studiate dapprima con un approccio numerico, al fine di analizzare le catatteristiche metrologiche attese al variare dei parametri (ad esempio con diversi valori di focale, differenti geometrie del target, diverse risoluzioni delle telecamere eccetera). L’analisi numerica ha permesso di ottimizzare, almeno per via teorica, i parametri dei tre sistemi di misura, permettendo quindi di realizzare dei prototipi già nominalmente prossimi alle condizioni ideali. Ovviamente sono stati già in questa fase considerati i vincoli realizzativi, quali i massimi ingombri possibili, le massime masse accettabili eccetera. La qualificazione sperimentale delle tre soluzioni è stata poi effettuata mediante prove sperimentali sui protutipi. In particolare i prototipi sono stati sottoposti a livelli di vibrazione realistici per una installazione su beanie, a test di rotazione per valutare l’effetto delle vibrazioni associate alle sollecitazioni centrifughe, nonché a test finalizzati a stimare l’incertezza di misura. Tutte e tre le soluzioni sviluppate hanno mostrato un’ottima robustezza in condizioni di sollecitazioni meccaniche realistiche. I testi finalizzati alla stima dell’incertezza sono stati sviluppati considerando le geometrie e le posizioni relative fra sensori e pala, caratteristici dell’elicottero target, ovvero il velivolo AgustaWestland AW139. Il sistema basato su telecamere stereoscopiche ha mostrato prestazioni superiori rispetto alle altre due soluzioni, soddisfacendo fra l’altro un requisito progettuale di incertezza di misura inferiore a 0.3 °. Pertanto, il sistema basato su tecnologia di visione stereoscopica è stato selezionato come miglior soluzione per la implementazione finale e per i test in volo. Il target da montare sulla radice pala, per il sistema basato su telecamere stereo, è costituito da una semplice superficie piana bianca con una serie di otto dischi neri disposti su due file da 4. Tale target è stato progettato per essere fissato sulla radice pala con un opportuno collante, rendendo l’installazione particolarmente semplice e rapida. E’ stata sviluppata una doppia procedura di taratura: una per la taratura del sistema stereoscopico montato sul beanie, e un’altra finalizzata alla ricostruzione della rototraslazione fra il sistema di riferimento del sistema stereo e quello del supporto della pala. La seconda procedura di taratura si è resa necessaria in quanto il sistema stereo restituisce gli angoli pala in un sistema di riferimento solidale con il sistema stereo stesso, tuttavia ai fini dell’applicazione finale, gli angoli pala sono richiesti nel sistema di riferimento solidale con il supporto pala. Le coordinate dei dischi neri presenti sul target sono rilevate nelle immagini stereoscopiche acquisite dalle telecamere, è poi stato sviluppato e implementato un algoritmo di calcolo in grado di estrarre da queste informazioni le coordinate 3D di questi punti nel sistema di riferimento telecamere a un ulteriore algoritmo per la stima degli angoli di pala. Quest’ultimo algoritmo è basato sull’analisi dei dati con un approccio appositamente sviluppato e basato sulla tecnica di singular value decomposition (SVD). Una volta sviluppato il sistema finale e integrato in un beanie sperimentale, prima della prova finale di volo, il sistema è stato provato intensivamente attraverso una serie di prove di laboratorio per confermarne l’affidabilità e l’accuratezza di misura. Sono stati in particolare progettati e realizzati dei test di analisi modale dell’intero beanie strumentato, delle prove in condizioni di rotazione e vibrazione realistiche, dei test di sensibilità alla luce solare. Tutti questi test hanno confermato l’affidabilità e la robustezza del sistema di misura sviluppato. Sono quindi state sviluppate prove finalizzate alla conferma delle caratteristiche metrologiche del sistema di misura nella sua implementazione finale nel beanie. Nell’ambito di questi test sono state riscontrate delle necessità di migliorare la robustezza computazionale di alcuni algoritmi di identificazione dei dischi neri nelle immagini. E’ stata quindi sviluppata una successiva fase di ottimizzazione che ha permesso di rimuovere queste criticità prima delle prove in volo. L’ultima fase del lavoro è consistita nella progettazione e realizzazione di prove di volo, in cui il sistema integrato nel beanie è stato montato su un velivolo AgustaWestland AW139 ed utilizzato in voli sperimentali. I voli sperimentali hanno permesso di verificare il buon funzionamento del sistema di misura per più di un'ora di volo consecutiva, ottenendo ottimi risultati in termini di continutià di misura e correttezza dei dati ottenuti. La verifica sui dati misurati è stata effettuata comparando il sistema di visione sviluppato con un sistema meccanico per la stima degli angoli di pala, precedentemente sviluppato da Leonardo Helicopters. Il sistema meccanico è stato usato come comparazione, tuttavia non può essere considerato un riferimento ad incertezza trascurabile rispetto al sistema di visione in quanto non dispone di una qualificazione misuristica. Tuttavia la sostanziale coincidenza dei dati misurati dai due sistemi rappresenta un importante elemento di verifica delle prestazioni di entrambi i metodi di misura.