Item analysis of a physics multiple choice test designed for an orientation course

This thesis work analyses a multiple-choice test consisting of 8 physics items. The test was administered to students doing their fourth and fifth year of high school who were participating in an orientation course offered by Politecnico di Milano and were interested in pursuing engineering studies after high school. The items had a similar structure to the questions found on the engineering entrance exam, allowing students to gauge the level of knowledge required to pass the test. Additionally, the test aimed to address some common misconceptions and conceptual errors among students, enabling the professor teaching the class to emphasize the importance of grasping these concepts while studying physics. The Classical Test Theory analysis helped us to detect the items or distractors that need revision. Some items needed little modifications to improve the distractors, while one item had a low ability to discriminate between high-archiving and low-archiving students probably due to the high item difficulty. We used the chi-squared test to check the correlation among some factors. We discovered that students in their fourth year of high school tend to answer correctly to an item more often than students in their fifth year and that men tend to answer an item correctly more often than women.

Questo lavoro di tesi analizza un test a risposta multipla composto da 8 quesiti di fisica. Il test è stato somministrato a degli studenti del quarto e quinto anno delle scuole superiori che hanno frequentato un corso di orientamento offerto dal Politecnico di Milano ed erano interessati a proseguire gli studi di ingegneria dopo la maturità. Gli item avevano una struttura simile alle domande dell'esame di ammissione a ingegneria, consentendo agli studenti di valutare il livello di conoscenza richiesto per superare il test. Inoltre, il test serviva per affrontare alcuni misconcetti ed errori concettuali comuni tra gli studenti, consentendo al professore che insegnava in classe di sottolineare l’importanza di comprendere questi concetti durante lo studio della fisica. L'analisi svolta utilizzando la Teoria Classica dei Test ci ha aiutato a rilevare gli elementi o i distrattori che necessitavano di revisione. Alcuni item necessitavano di piccole modifiche per migliorare i distrattori, mentre un item aveva una bassa capacità di discriminare tra studenti più e meno bravi, probabilmente a causa dell'elevata difficoltà dell'item. Abbiamo utilizzato il test del chi quadrato per verificare la correlazione tra alcuni fattori. Abbiamo scoperto che gli studenti del quarto anno di scuola superiore tendono a rispondere correttamente a un item più spesso rispetto agli studenti del quinto anno e che gli uomini tendono a rispondere correttamente a un item più spesso delle donne.