Hogan測評系統‎ > ‎Hogan 專欄‎ > ‎

如何評估測評的好壞:請以數據為本,聰明選擇與開發測評


作者:Dr. Scott Gregory, CEO, Hogan Assessment Systems

原文出處:https://trainingindustry.com/articles/measurement-and-analytics/how-to-assess-assessments-making-informed-decisions-about-selection-and-development-assessments/ 

最近旅行時在飛機上與一位製造業者總經理聊起來。我解釋我在一家測評公司上班時,他睜大眼睛,非常興奮地跟我說他採用了一項測評長達十年之久,而且測評「從來沒有失誤過」。 

我問他這是什麼意思,他說,這項測評驗證他在面試過程對求職者的印象。所以我就問坊間這麼多測評,他是如何選的。他說他喜歡「那位測評的服務人員」。

我又詢問支持這項測評的科學,他表示其實他也不清楚外面有其它的測評選項,也不太在意這背後的理論基礎,只是單純喜歡合作的「測評人員」。

他的想法其實還蠻常見的。飛機上坐我旁邊的是一位工程師,在專業養成過程中就了解必須採用並重視科學。我也毫不懷疑,他的教育背景絕對學到統計的概念,像是相關性、信效度。我也很確定他在工作中經常使用其它的數據,因為他的工作就是設計科技性的工程產品。即使如此,他似乎看不到好的測評與高品質人力績效之間的關聯性,其實跟好的測量工具與產品績效品質的關聯性一樣。 

或許他跟許多人一樣,覺得自己算是會看人。他不會,我們也不會。如果我們真的那麼會看人,美國高達四成的離婚率就會降低。我們常常騙自己,覺得我們可以很精準地預測一個人會不會在工作上表現良好。我們沒辦法。我們覺得人是相當容易了解的。他們不是。

還好,有一些專業的人設計出可以預測工作表現的測評,可以預測工作績效、離職率、領導潛能等等。你不需要太過理解這背後的科學,就能適度使用,針對人才做出更好的決定。你只需要知道該考慮什麼要素就可以。 

要了解哪一種測評適合您的公司和需求時,只需要掌握三個概念。 

1. 工作相關性

是否知道這份工作真正需要什麼能力?要做好這份工作,需要哪些能力、技巧和特質? 

工作相關性是一項重要的科學性、法律上的標準,因為可以判斷這項測評能不能評估在該項工作上能不能夠成功。這項標準可以防止種族、性別或其他任何與工作不相關的特質妨礙一個人在職涯上的發展。 

建立工作相關性標準的過程,就是工作分析。任何有信譽的測評服務者,都會提供工作分析,來說明這項分析如何運作,如何輔助測評進行特定的項目。如果您的測評服務者無法提供詳細的工作分析,或是無法說明該測評與你有興趣的用途有所關聯,建議你找別家;否則,很有可能到最後,你與目前的這家供應商走向訴訟之路。 

2. 信度

信度反映出這項測評能不能以一致性的方式做測量。比方說,如果你想要測量一個成年人的高度,但是手上只有一把橡皮尺,使用的時候會伸縮。你多次測量這位成年人的身高,每次可能都會得出不同的高度。很明顯的,這位成年人並沒有長高或變矮,只是你測量身高的方式不夠一致,不可靠。

同樣的想法也適用於人才測評。如果一項測評評估的是一個不會變動的性格特質,像是外向,那麼每次進行測量,應該都會展現同樣的特質。 

3. 效度

一個高信度的測量方式,可以幫助你做出正確的預測。比方說,星座沒辦法預測整體的健康、收入或鞋子的尺寸。我們沒有辦法光是知道一個人是處女座或天秤座,就能精準地預測這些人的表現。 

假設說,一個測評要求受測者根據自己頭髮顏色的偏好來排列卡片的顏色,用這個數據來預測此人在工作上的表現。這其中並沒有證據證明這項測評可以預測工作表現、評估性格、甚至對顏色的喜好。廠商可以說這是「遊戲化」的設計,或是運用神經心理學。但是在預測上面,這些名詞沒有意義。請跟廠商要求科學性的數據,驗證這項測評可以幫助你預測你需要的項目。 

讓我們用一個實用的例子來說明為什麼這三因素非常重要。假設你背痛,打電話給醫生。醫生還沒問任何有關背痛的問題,就開了一種藥丸讓你吃。換句話說,她還沒有證明她開的這款藥跟你的狀況有任何關聯。然後她說,這種藥丸有時候有效,有時候沒效,所以如果還是痛,也不要太驚訝。如果沒有止痛,這個藥丸就沒有效度。最後,你詢問醫生有沒有科學上的證據可以證明這藥丸會舒緩你的疼痛。她說沒有,但是她知道這有效,你相信她就對了。 

這樣你還會服用這個跟你狀況沒有關連、效果不可靠、沒有數據證明可以舒緩你的情況的藥丸嗎?如果不會,你也不應該選一個沒有工作相關性標準、沒有信效度的測評。 

或許你會想,你沒有足夠的專業與時間來評估測評有沒有用。畢竟這些看起來的確可以評估性格、偏好或能力。你也可能自己先完成,認同測評的結果。只是,看起來測量某種結構,卻與工作無關聯性,沒有信度與效度的測評,就跟吃下一顆藥丸,只因為看起來像是藥丸沒兩樣。

沒有任何組織會因為某個人說該產品很好,很值得投資,就投資新產品與併購。組織需要進行縝密的研究,知道這項投資會有所回收。組織不需要降低預測人才績效的標準。有信譽的測評服務業者一定會樂於回應這些工作關聯性、信度、效度的問題。 

所以,請針對這三項重要的元素提出問題,幫助釐清這些測評是不是像他們說的那麼有效(他們都會這樣說),找出可以證明自己說法的服務業者。至少這樣可以過濾掉一些。如果一項測評沒有針對工作關聯性、信度、效度提供書面、容易理解的說明,可以提供你需要的項目,就應該立刻排除。請記得,測評的選擇可以讓人的生活更好或更壞,請選能夠讓生命更好的測評。

Comments