效度與造假

張貼者:2017年4月1日 上午7:35Jim Hwang   [ 已更新 2017年4月1日 上午7:36 ]

以前要做測評真的很難。工業組織心理學的圈子裡對性格評測彷彿架起一面高牆,而且還是磚塊的高牆。最開始寄出去、邀請同行先進評論的論文,即使提供非常完整的數據,對方還是原封不動寄回,只說:「大家都知道這東西沒有用,我們根本不會評論您的論文。」不過,性格測評還是再度興起,而且是我們讓它再顯雄風,只是批評的聲音還在,他們的說法是「效度很細微,而且會被造假混淆。」那麼,效度跟造假該怎麼解釋?

首先,如要問測評究竟有多精確,就必須要問「對照的對象」是什麼?以下是關於標準化醫療評估的一些效度係數1   

醫療程序

相關係數

(皮爾森相關係數 r)

樣本大小

冠狀動脈繞道手術與存活率

0.08

2,649

吸菸與25內罹患肺癌機率

0.08

3,956

抗組胺藥與減痰

0.14

1,023

布落芬(ibuprofen)與疼痛減緩

0.14

8,488

而鋼對頭痛與發紅發熱的影響

0.25

861

而鋼與性功能

0.38

779

美國成年人的身高與體重

0.44

16,948

還記得我們在性格評測上發表了最優質的統合分析 2。反觀現有的性格統合分析跟結果都是亂扯一通。首先,所有研究的數據都必須沿用同樣的工具,因為HPINEO是不同的測評,而且非常不同。等到整合預測因子與準則之後,得到的結果是一樣的。沒有一個大P,而是很多的小p值。這些就是社會績效的許多面向。

量表

N

r

p

調適

2,573

0.25

0.43

抱負

3,698

0.20

0.35

友善性

2,500

0.18

0.34

審慎

3,379

0.22

0.36

聰慧性/對經驗的開放性

1,190

0.20

0.34

如果想了解一個人有多外向 – 多平易近人、合群,要測評的量表並非「適應」,而是要評「外向性」。性格特質的力量就在此展現,這力量遠比威而鋼還要強。性格的關聯性很強。不過,請注意這裡面少了什麼:「外向」,或者說「社交性」,在這邊被稀釋了,因此什麼都無法預測。「社交性」唯一能夠測評出的就是很愛說話。「社交性」分數較高的人,通常不太會執行,他們只是一直說話,而且還會混淆活動與生產力 - 誤以為說話就等於把事情完成。所以它在統合性分析中被稀釋,直接消失。學院派的心理學家不了解這一點。外向只是聒噪。

接下來讓我們看一下求職者如何造假。我們也進行了調查 3。這份調查是根據造假的議題所做,最有內容的報告。我們讓五千位因為HPI測評的分數而未受聘用的人,並請他們在六個月之後重新測評。也就是說,他們做了HPI,沒拿到這份工作,之後他們再測一次。在這種情況下,你會想說對方想要造假的動機應該很強對不對?但是結果顯示,從第一次到第二次的評測時,在誤差範圍以上,僅有5%的人更改答案,其中一半的人分數變好,另一半分數變比較不好。大家可以透過「社交」的分數上預測誰的分數變好,誰變不好。透過社交技巧,可以改善分數。學術界認為這是不對的作法,但是其實答案應該是「沒有人造假」。

他們對造假的定義,是非一個人的真實個性。但是這是什麼意思?除了做自己之外,你還能是誰?這其中的差異就是假的你跟真的你。但是我想說的是,這個真正的你的一面,其實是你應該感到羞愧的一面,畢竟兒時的社交化過程,不就是教小孩要假裝嗎?小孩行為不當時,會發生什麼事?我們叫他們停,要否認自己有這些衝動。我們教導他們假裝沒有這些衝動。我們告訴他們「你的行為應該是這樣。」但是當你不照著這樣做,你就異常。所以在我看來,這期間根本就是在造假,成年人都在造假。真實的你是你不應該有的樣子,必須要嚴格管控的樣子。所以這都是假的,假的,假的。

而他們又說,要客觀地定義造假的方式,就是要看造假的量表上的分數。不過,參考一下戴爾·包勒斯(Dale Paulus)所看見的兩種造假的方式4。第一種是在無意識情況下,認定自己擁有某種特質,但其實不然。這裡的每一個人都會說自己很有幽默感,其實並不是真的,但是你還是會這麼說,你也會相信自己是這樣的。這樣的你是在造假嗎?還有一種造假,是故意說你有某種特質,其實你並沒有。像是「我從來不會在外面放屁。」這些是可以評測的。評測結果的意義是什麼?這些行為可以幫助你做一些預測。喜歡說「我很有幽默感」的人,在「調適」和「可靠性/盡責性」的分數較高。這些是個性好、極高社會化、喜歡跟別人相處的人。他們跟許多人一樣。那麼,那些「我從來不會再外面放屁」量表上得高分的人呢?他們在「宜人性」的量表上分數會很高。他們只是希望你們對他印象好一點而已。

This is a series of excerpts from a speech Robert Hogan delivered at the 2016 WAPP conference in Brazil. In addition, Robert Hogan and Jeff Foster used the speech as the foundation for writing the “Rethinking Personality” paper published in the International Journal of Personality Psychology in 2016.

Reference

1.     Meyer, G. J., Finn, S. E., Eyde, L. D., Kay, G. G., Moreland, K. L., Dies, R. R., Eisman, E. J., Kubiszyn, T. W., & Reed, G. M. (2001). Psychological testing and psychological assessment: A review of evidence and issues. American Psychologist, 56, 128-165.

2.    Hogan, J., & Holland, B. (2003). Using theory to evaluate personality and job-performance relations: A socioanalytic perspective. Journal of Applied Psychology, 88, 100-112.

3.    Hogan, J., Barrett, P., & Hogan, R. (2007). Personality measurement, faking, and employment selection. Journal of Applied Psychology, 96, 1270-1285.

4.    Paulhus, D. L. (1984). Two-component models of socially desirable responding. Journal of Personality and Social Psychology, 46, 598-609.

Comments