Hogan 常問問題集:看懂效度與信度

選才或規劃員工培訓時,能不能採用適切的測評機制,足以影響人才培育計劃的效果。試想,如果測評無法預測員工績效,或無法符合企業領袖的需求,那為什麼還需要多此一舉? 

為珍惜的員工選擇適切的測評系統時,要注意測試時的嚴謹度。好的工具都必須有明確的資料來驗證它的效度與信度,因為這兩者可以告訴你很重要的兩件事:一、這項測評所評估的重點,就是你要的,還有二、這項測評能夠在每一次都能進行可靠的評估,就是說這項測評的效果必須有系統性、一致性地展現同樣效果才行。

如果用箭靶的靶心來比喻這個概念,或許更容易了解。箭靶的正中心就是想要測評的重點。

RELIABLE BUT NOT VALID    有信度,無效度

VALID BUT NOT RELIABLE    有效度,無信度

RELIABLE AND VALID          有信度,有效度                                           

有信度但無效度,表示一直都在測量同樣的東西,但是卻不是你想要測評的重點。

有效度但無信度,表示測試平均值與測試目標相符,但是個別的數據卻不一致。

有信度,有效度的意思就是,這項評測能夠在特定期間內一致性地測量應測試的主題,也就是持續射中靶心。    

What is Validity? 什麼是效度

效度代表測評的正確性。簡單的說,就是測量它原本設定要評估的目標。效度有很多不同的類型,其中我們最重視的就是預測效度 (predictive validity)

預測效度告訴我們,這項測量工具能不能有效在未來預測出特定的結果。在性格評測上,好的測評就能夠預測這個人能不能在工作上展現效能。效度通常是以一個介於011的係數來衡量1(稱為皮爾森氏相關係數),係數數據越是接近1,就越能預測這個測評的精確度。霍根性格量表(HPI)在評估各種工作類型的績效上,預測效度是0.29。但是,當HPI結合霍根發展調查表(HDS)和動機、價值觀及偏好調查問卷(MVPI)時,預測效度的數據增高到0.54。或許這個數據看起來不是很高,但是跟其他完全無關的領域做比較,就會更有感覺:比方說,止痛藥布洛芬(ibuprofen)最早的預測效度只有0.14。拿另一個相關性比較高的例子來看,制式職場面試和工作績效,兩者之間的相關係數卻僅有0.18。總之,坊間有許多衡量效度的方式,必須細看,找出比較有實質效果的做法。線索之一就是效度的數據,如果少了這一樣,就可能需要思考無法解釋效度的原因。

What is Reliability? 什麼是信度 

另一方面,信度告訴我們測評的結果是不是一致。判斷測評信度的方法有兩種:內部一致性(internal consistency) 和再測信度 (test-retest reliability)

再測信度衡量不同時間之下,結果會不會相同;也就是說,受訪者是不是每一次做這項測驗,答案都會一樣?答案不一致,表示這項測評衡量的或許並不是性格,畢竟性格是相對穩定、不太會變的。再測信度進行的模式,是將第一次測評和一段時間之後進行第二次測評的數據做比較,以皮爾森氏相關係數(Pearson coefficient) 來衡量其信度。霍根HPI的短期再測信度0.81HDS的再測信度為0.70MVPI再測信度則是0.79

內部一致性測試的則是測評裡面所提出的每一道問題。受測者會注意到,許多的問題都是要測量同樣一件事。這是刻意設計的,用不同的方式提問同樣的問題,才能確保我們能夠精確地評估特定的概念。

就如效度,信度的數值也是介於01 (這項係數為克隆巴赫係數Cronback’s alpha)。數值越接近1,信度就越高。霍根HPI的內部一致性是0.76HDS0.71MVPI的內部一致性則是0.761. 是絕對值。數值介於-10,代表負面的關聯性。 

需要注意的是,無論是信度或是效度,都有多於一種衡量的方式。實際上,發表測評的單位也必須持續關注產品,了解是不是都能展現一致性的精確度。霍根標準遠比業界高,會持續評估測評信、效度。只是我們也可能偏心,所以在此鼓勵各位要檢視您選用的測評系統所提供的信度與效度數值。

霍根的測評至今已經運用於超過四百份同行評論的論文,確保我們的測評都命中核心。我們也歡迎各位聯絡我們,了解霍根測評的信度與效度:service@infelligent.com
Comments