量表/測量工具 預測力檢定
Criterion-related Validity / Prediction
Model Validation
神掌打通任督二脈‧易筋經以簡馭繁
符號意義:統雄快訣 延伸閱讀 進階議題 警示訊息
什麼是效標關聯效度
效標關聯效度 Criterion-related Validity 、簡稱為效標效度 Criterion
Validity,即「預測力檢定 Prediction Model Validation」,是科學追求「可複製
Replica」的最基本方法之一。其與「外在效度 External Validity」、「交互驗證 Cross
Validation」、「概化 Generalization」在理論定位與檢定方法上,幾乎相同、或十分近似。
效標關聯效度最早用在的測量工具,是學科考試或各種心理測驗,目的是分析某一項考試工具,是否能夠預測樣本未來真實的學習發展成就;或是某項測驗工具,可以預測到多少研究者想探知的特質(Hills
[193],Tyebjee [352])。亦即分析單一樣本集、2個以上測量工具之間的關聯數值。
而現在已可使用在各種心理、態度、行為測量工具上,也可以比較2個以上樣本集,所以稱為「預測力檢定」將更具廣義性。
有些文獻將效標關聯效度又分為三型:預測效度(predictive
validity,或預測力prediction),同時效度(concurrent
validity)及事後效度(postdiction),分別指預測工具實施、與被測應變項產生,兩者前後的不同時機,詳如以下定義(1)的範例。
吳統雄將以上相關理論與方法,整合為以下定義:
2個以上測量工具/單一樣本集
統計模式的效標 criteria,即應變項Y;甲測量工具即預測變項 predictor。
甲測量工具對特定樣本集預測,獲得各樣本之效標值為 Yp。
乙測量工具對相同特定樣本集,預測相同、或同類效標,獲得各樣本之效標值為 Yt。
則,效標關聯效度/預測力檢定值,為 Yp 與 Yt
之相關係數。
亦即其稱為「關聯」效度的原因。
範例:應變項為某高中學生升學模擬考排名,甲測量工具為模擬考之考卷。 |
單一測量工具/2個以上樣本集
統計模式的效標 criteria,即應變項Y;測量工具即預測變項
predictor、即自變項X。
設:在甲樣本集(有些文獻稱為訓練樣本集)中,以迴歸分析方法,獲得以下預測模式:
Y ̂ = b0 + bX
對乙樣本集(有些文獻稱為實驗樣本集),以此預測模式獲得各樣本之預測效標值 Yp。
而乙樣本集中,Y之真實觀察值效標值為 Yt。
則,效標關聯效度/預測力檢定值,為 Yp 與 Yt 之相關係數。
多測量工具/2個以上樣本集
則在甲樣本集中,以多元迴歸分析方法,獲得以下預測模式:
Y ̂ = b0 + b1
X1 + b2X2 +…+ bnXn
後續步驟相同。
重複驗證
可以多個預測值,分析其相關係數矩陣,再以「統合分析法」進一步驗證。
SPSS/ 範例檔案下載
以下介紹使用SPSS達成所有分析步驟的過程。
下載SPSS高等統計範例資料(右鍵下載)Analy-SPSS-Teaching.exe
下載SPSS多變項分析範例資料(右鍵下載)Analy-SPSS-Teaching-Multi.rar
下載SPSS統計與多變項習題資料(右鍵下載)Analy-SPSS-Multi_Ex.7z
下載SPSS範例資料(教材專區)Analy-SPSS-Teaching.exe
下載範例資料(教材專區):Analy-SPSS-Teaching-Multi.exe
應用範例
本範例,請使用教材:
下載範例資料(教材專區):Analy-SPSS-Teaching-Multi.exe
如何檢定以下「遊戲行為量表」(預測變項,即自變項),對以下效標(即應變項):
「請問您本週約幾小時玩網路遊戲?」的效標關聯效度?
這是一個習題,不是真正的研究。
〉分析
〉迴歸
〉線性
設定
〉統計量
報表應用
相關到達 .000 顯著水準,故可發展預測模式。
在單一工具(自變項)時,r2為判定係數,即相關係數 r 的平方。
而在多預測工具(多自變項)時,r 寫作 β,亦不稱為相關係數,而改稱為標準化迴歸係數;同時其多元判定係數記作 R2。
不過,SPSS 報表將以上兩者均表示為 R2,同時,有分為原始 R2,與調整後 R2,一般會使用調整後 R2。
從以下各報表可知:「模式摘要」表的 R,就是「係數」表的 Beta ( β),反映統計因歷史發展源流差異,造成許多不同名詞,其實是相同事物,同一個軟體、由於系統分析師、程式設計師均不懂統計,也不敢統一名詞,這都是學習統計的額外障礙。
模式 ANOVA 到達 .000 顯著水準。
根據 b 值(SPSS 報表將雙變項之b,與多變項之B,兩者均表示為B),獲得預測模式:
本週約幾小時玩網路遊戲 ﹦5.283 + 3.328 × 「遊戲行為量表」分數
效標關聯效度檢定方法
使用第二資料集,如:
下載SPSS統計與多變項習題資料(右鍵下載)Analy-SPSS-Multi_Ex.7z
建構預測效標
依據第一資料集之統計模式,建構「預測玩網路遊戲小時數」效標,如 Predict_game
〉轉換
〉計算變數
〉類型 & 標記
〉分析
〉相關
〉雙變數
報表詮釋
相關係數 r-即效標關聯效度﹦.384
到達 .000 顯著水準,可以繼續檢定效度。
注意:雖然效標關聯效度即相關係數 r,但在邏輯上,效度的有效程度,並不等於相關係數的重要性。
因為後者只是兩個變項的相關程度,而前者是測量工具能不能夠測量到所要研究的構念、存在而看不見的特質,要求的程度應更高。
一般的r 之重要性實取決於判定係數 r2 所反映可估計範圍之百分比,,如果2變項間相互影響近50%,「一半」在邏輯上就是近於高影響了,所以其重要性如:『相關的「重要性」檢定的標準與詮釋』。
但對效度而言,測量工具應至少測量到50%以上的欲可測構念、存在而看不見的特質;「一半」在邏輯上,應是最低要求,所以其有效程度應判定如下:
.9 < r |
效度高 |
.7< r <.9 |
效度中上 |
.3 < r <.7 |
效度中下 |
r < .3 |
效度低 |
信度與效度進階闡述