心理和教育測量學(xué)越來越變成一門如何用統(tǒng)計手段分析測驗分?jǐn)?shù)的學(xué)科,而非怎樣測量心理或教育屬性的理論,造成了效度分析和測驗設(shè)計中的諸多問題。本書在剖析既有問題基礎(chǔ)上,提出并構(gòu)建了一種理論驅(qū)動的測量學(xué)模式,提出并系統(tǒng)構(gòu)建了一種理論驅(qū)動的測量學(xué)模式。這種測量學(xué)模式綜合了當(dāng)前國際上在測量基本理論、效度研究、認(rèn)知項目設(shè)計和自動化項目生成、多維測量模型建模和計算機(jī)自適應(yīng)測驗等相關(guān)領(lǐng)域的最近研究成果和發(fā)展趨勢。
長期以來,心理和教育測量學(xué)越來越演變成一種去理論化的、過于功能主義和實用主義取向的應(yīng)用學(xué)科。這種取向使得心理和教育測量學(xué)蛻變?yōu)橐婚T如何用統(tǒng)計手段分析測驗分?jǐn)?shù)的技術(shù)學(xué)科, 而不是怎樣合理和科學(xué)地測量心理或教育領(lǐng)域中的屬性或建構(gòu)的測量理論。
本書剖析了當(dāng)前心理和教育測量學(xué)研究范式中的既有問題,并在此基礎(chǔ)上提出并構(gòu)建了一種理論驅(qū)動的測量學(xué)模式。該模式綜合了當(dāng)前國際上測量基本理論、效度研究、認(rèn)知項目設(shè)計和自動化項目生成、多維測量模型建模和計算機(jī)自適應(yīng)測驗等相關(guān)領(lǐng)域的最近研究成果和發(fā)展趨勢,按照測量的本質(zhì)、測量所需建構(gòu)理論、理論驅(qū)動的測驗編制與項目設(shè)計、基于理論的測驗分析與建模這樣一種思路重構(gòu)了心理和教育測量學(xué)的基本框架和應(yīng)該關(guān)注的研究問題。
本書不同于常見心理或教育測量學(xué)的基本思路,即先介紹測驗信度或效度,然后介紹不同類型的已有測驗,而是沿著基本概念、工具開發(fā)、建模分析和推斷解釋的邏輯思路進(jìn)行架構(gòu),提出了對什么是測量、建構(gòu)理論等方面新的理解和認(rèn)識,強(qiáng)調(diào)建構(gòu)理論、項目設(shè)計和測量學(xué)建模之間整合關(guān)系。
楊向東,博士,美國堪薩斯大學(xué)量化心理學(xué)博士,華東師范大學(xué)教育科學(xué)學(xué)院副院長,課程與教學(xué)研究所副教授。主要研究領(lǐng)域為教育測量與評價、研究方法和應(yīng)用統(tǒng)計。已出版著作包括《課堂評價:促進(jìn)學(xué)生學(xué)習(xí)和發(fā)展》,華師大出版社2012年出版。
第一章 導(dǎo)論
一、心理與教育測量學(xué)的迷失
二、去理論化和功能主義的測量研究范式
三、測驗效度與效度檢驗的矯枉
(一)去理論化的內(nèi)容效度
(二)功能主義觀下的建構(gòu)效度
(三)效標(biāo)關(guān)聯(lián)效度的內(nèi)涵變遷
(四)偷換概念的效度研究
四、測驗項目設(shè)計:藝術(shù)還是科學(xué)
五、理論驅(qū)動測量學(xué)的回歸
(一)建構(gòu)理論和測量理論整合的科學(xué)基礎(chǔ)
(二)測量理論內(nèi)部的變革
六、心理與教育測量學(xué)中的“測量”觀
(一)測量的經(jīng)典觀
(二)測量經(jīng)典觀的流放和Stevens測量觀的興起
(三)聯(lián)合測量理論
七、結(jié)語
第二章 什么是測量
一、測量的內(nèi)涵
(一)屬性的可加性結(jié)構(gòu)
(二)連續(xù)量化屬性
(三)連續(xù)性與相同測量單位
(四)測量的界定
(五)理解測量結(jié)果的實質(zhì)含義
二、測量在科學(xué)研究中的位置
(一)觀念的演化歷程
(二)科學(xué)理論的闡述方式
(三)測量在科學(xué)發(fā)展中的作用和局限
第三章 心理與教育領(lǐng)域中的測量
一、理想心理和教育測量的特征
二、心理和教育測量的基本問題
(一)心理屬性的本體論問題
(二)如何判定心理屬性是否是連續(xù)量化屬性
三、心理與教育屬性測量尺度的構(gòu)建
(一)哥特曼尺度(Guttman seale)
(二)拉希尺度構(gòu)建法(Rasch scaling)
(三)瑟斯頓尺度構(gòu)建法和項目反應(yīng)理論
四、本章結(jié)語
第四章 建構(gòu)和建構(gòu)理論
一、什么是建構(gòu)
(一)建構(gòu)作為一種理論意義上的變量
(二)理論建構(gòu)、操作定義中的建構(gòu)以及觀測指標(biāo)之間的關(guān)系
二、建構(gòu)究竟是一種什么性質(zhì)的變量
(一)不同觀點下建構(gòu)的性質(zhì)
(二)心理或教育領(lǐng)域中的建構(gòu)是一種什么性質(zhì)的存在
三、理解建構(gòu)和觀測指標(biāo)之間的因果關(guān)系
(一)被試間和被試內(nèi)因果關(guān)系(Between-subject or within-subject causalitv)
(二)同質(zhì)性與異質(zhì)性因果關(guān)系(homogenous or heterogeneous causality)
四、心理或教育測量領(lǐng)域中的建構(gòu)理論
(一)宏觀層面的建構(gòu)理論
(二)中層的建構(gòu)理論
(三)微觀的建構(gòu)理論
五、本章小結(jié):幾個尚未解決的問題
(一)建構(gòu)、領(lǐng)域和任務(wù)
(二)建構(gòu)在哪里?
(三)重新審視因果機(jī)制同質(zhì)性的問題
第五章 測驗設(shè)計和項目生成
一、測驗設(shè)計與開發(fā)模式
(一)測驗設(shè)計的傳統(tǒng)理論取向
(二)理論驅(qū)動的測驗設(shè)計取向
二、項目設(shè)計的發(fā)展
(一)功能取向的項目生成方法
(二)層面理論和匹配語句(mapping-sentence)項目設(shè)計法
(三)認(rèn)知項目設(shè)計法(cognitive approach to itam design)
三、當(dāng)前趨勢和未來發(fā)展方向
第六章 測驗數(shù)據(jù)分析
一、理論驅(qū)動的測量學(xué)分析的基本問題
(一)測量即按照規(guī)則賦值的過程
(二)測量即基于證據(jù)的推理過程
(三)測量即一種結(jié)構(gòu)理論
(四)測量的經(jīng)典觀
(五)基于建構(gòu)理論的測量學(xué)分析
二、理論驅(qū)動的測量尺度分析
(一)可尺度化(scalabmty)與測量尺度的存在(existence of a scale)
(二)測驗數(shù)據(jù)的維度
(三)測量尺度特征的評估
三、實質(zhì)理論對測量尺度的解釋程度分析
(一)測量工具或尺度的結(jié)構(gòu)性假設(shè)檢驗
(二)項目結(jié)構(gòu)背后的認(rèn)知成分分析
(三)建構(gòu)的法則廣度分析
(四)更為復(fù)雜的情況
四、其他方面的測驗學(xué)分析
參考文獻(xiàn)
《理論驅(qū)動的心理與教育測量學(xué)》:
建構(gòu)效度的另一個方面是法則廣度(nomothetic span),指的是當(dāng)前測驗與其他變量之間的關(guān)系網(wǎng)絡(luò)。法則廣度類似于Cronbach和Meehl(1955)提出的法則網(wǎng)絡(luò),對應(yīng)的數(shù)據(jù)是當(dāng)前測驗分?jǐn)?shù)與其他測驗分?jǐn)?shù)或變量的相關(guān)矩陣。當(dāng)前測驗與其他測驗或變量相關(guān)關(guān)系的頻率、大小和模式,表明當(dāng)前測驗在測量個別差異中的效用和重要程度。如果某建構(gòu)在特定領(lǐng)域中具有核心位置,任何與該建構(gòu)關(guān)系密切的其他變量都應(yīng)該與測量該建構(gòu)的測驗分?jǐn)?shù)有較高的相關(guān),則對應(yīng)法則廣度就涉及面較廣。此外,當(dāng)前測驗與其他測驗相關(guān)矩陣的特定模式還在一定程度上表明了當(dāng)前測驗所測的建構(gòu)[見Cronbach和Meehl(1955),利用法則網(wǎng)絡(luò)推斷測驗建構(gòu)效度的思考]。
Embretson對建構(gòu)效度的二分法開啟了測量學(xué)模式與認(rèn)知研究相結(jié)合的可能性。在功能主義研究范式下,項目反應(yīng)的因果機(jī)制無法成為心理學(xué)研究的對象,“建構(gòu)表征不可能成為一個獨立的研究目標(biāo)”(Embretson,1983,p.180)。因而,傳統(tǒng)測驗效度理論關(guān)注更多的是所測建構(gòu)的法則廣度,利用的多是測驗分?jǐn)?shù)(或項目反應(yīng))之間的相關(guān)矩陣,采用的主要是因素分析式方法。建構(gòu)表征概念的提出,明確地將能夠解釋測驗項目反應(yīng)機(jī)制的建構(gòu)理論置于測驗效度及其檢驗的首要位置。在這一框架下,效度理論的內(nèi)涵和驗證方法發(fā)生了實質(zhì)性的改變。測驗分?jǐn)?shù)與其他測驗分?jǐn)?shù)的相關(guān)程度(傳統(tǒng)意義上的效標(biāo)效度)以及不同測驗項目反應(yīng)的潛在維度(傳統(tǒng)意義上的結(jié)構(gòu)效度)雖然仍然是重要證據(jù),但已經(jīng)不是核心證據(jù)。在新的效度理論下,測驗項目解決所需的認(rèn)知加工過程和結(jié)構(gòu)是否是對所測量的建構(gòu)理論的一個合理表征,變成了效度檢驗的核心問題。這樣一來,認(rèn)知心理學(xué)的理論和方法也就被合理地納入了測驗建構(gòu)效度及其檢驗的理論框架內(nèi)。更為主要的是,建構(gòu)表征概念的提出,使認(rèn)知研究的理論成果和實驗技術(shù)成為一種新型測驗項目設(shè)計和測驗編制模式的重要基礎(chǔ)。這種項目設(shè)計通常被稱為認(rèn)知項目設(shè)計(cognitive item design; Embretson,1994,1998)或項目生成(cognitive item generation; Irvine & Kyllonen,2002).認(rèn)知項目設(shè)計的基本思路是將認(rèn)知心理學(xué)的研究方法和發(fā)現(xiàn)應(yīng)用到測驗項目的設(shè)計過程中。在確定了所要測量的建構(gòu)之后,設(shè)計人員運用文獻(xiàn)研究、言語報告、認(rèn)知成分分析技術(shù)以及實驗室研究等多種方法,對所選擇的認(rèn)知任務(wù)類型進(jìn)行詳盡的任務(wù)分析和研究。在此基礎(chǔ)上,設(shè)計人員研發(fā)相應(yīng)的認(rèn)知模型,明確描述個體在解決該類任務(wù)時所需要的認(rèn)知過程、策略和知識結(jié)構(gòu),及其對任務(wù)難度的影響;谡J(rèn)知模型,設(shè)計人員鑒別該類測驗任務(wù)的一系列具體的刺激特征,通過實驗研究建立這些具體特征與任務(wù)解決的不同認(rèn)知成分和過程之間的關(guān)系。然后,設(shè)計人員就可以通過操縱任務(wù)中的這些具體特征,從而控制解決任務(wù)所需要的認(rèn)知過程及其難度。這樣一來,即使所設(shè)計的項目沒有進(jìn)行試測,設(shè)計人員也可以確定所設(shè)計的測驗項目的建構(gòu)效度。由于建立了任務(wù)類型中的具體特征與相應(yīng)的認(rèn)知過程的影響關(guān)系,設(shè)計人員可以運用相應(yīng)的測量學(xué)模型標(biāo)定任務(wù)特征對測驗項目的測量學(xué)特征(如難度或者鑒別力等)的影響程度。更為重要的是,設(shè)計人員可以通過變換測驗項目中具體特征的組合,生成具有指定測量學(xué)指標(biāo)的項目(Embretson,1999),從而使得計算機(jī)輔助的自動化項目生成(automaticitem g eneration)成為可能(Embretson & Yang,2007)。
目前,眾多心理與教育測量學(xué)家對認(rèn)知測驗項目設(shè)計的理論和技術(shù)進(jìn)行了多方面的研究。近年來,該方法被運用到心理旋轉(zhuǎn)、隱藏圖形識別、瑞文矩陣推理、空間折疊、類比推理、序列完成等傳統(tǒng)智力和能力傾向測驗的任務(wù)類型(Irvine & Kyllonen,2002)。隨著研究的深入,對閱讀理解、數(shù)學(xué)問題解決等復(fù)雜認(rèn)知領(lǐng)域問題的研究也正在逐步展開(Arendasy & Sommer,2007;Daniel&Embretson,2010;Gorin,2005)。以認(rèn)知項目設(shè)計為基礎(chǔ)的自動化項目生成也成為近年來心理測量中比較活躍的研究領(lǐng)域(Alves,Gierl,&Lai,2010;Gierl&Haladyna,2012)。
認(rèn)知研究范式使得解釋測驗項目反應(yīng)機(jī)制的建構(gòu)理論成為可能,測驗效度理論和項目設(shè)計技術(shù)的變革則為建構(gòu)理論與測量理論相結(jié)合提供了理論框架和實踐路徑。但是,這些只是解決了“psychometrics”(心理測量學(xué))中“psycho”(心理)的部分,“metric"(尺度)部分的問題仍有待解決。在深層意義上,尺度問題的背后是對心理與教育測量學(xué)中“測量”這一概念內(nèi)涵的理解和界定。這種理解深刻影響著心理與教育測量學(xué)的理論取向和實踐模式。
……