本文旨在闡述PISA 2012如何設計任務以評核取樣自不同國家的學生的電腦化問題解决能力。基於PISA研究專家組所擬訂的評核架構，研究人員利用編寫軟件開發試題，繼而將試題組成試卷後在全球各地學校所通用的電腦上對取樣學生進行施測。測試過後，部分學生的作答會被電腦自動編碼評分，其它的則需要專家按評分指引給予編碼。測試數據經過整理之後，學生的分數編碼會按試題反應理論(item response theory)模型量尺化，獲得一把可以量度學生電腦化解決問題能力的量尺。取樣學生各有一組反映此學生能力分佈的五個可能值(plausible values)，用以計算一些統計值進行分析，以及編製圖表。透過詳盡描述研究者如何開展電腦化問題解決評核，本文透析信息科技在大型跨國電腦化測驗發展上的應用情況，向讀者說明問題解決能力的測量是如何從PISA2003開始，逐步從紙筆測試過渡到PISA2012電腦化問題解決的測試，再進一步邁向利用信息科技評核當代教育工作者極為重視的廿一世紀能力(21st century skills)，即PISA2015的協作式問題解決能力(collaborative problem solving ability)。