2016年12月16日 星期五

psychometrics vs clinimetrics

最近學生評析一篇以 clinimetrics 發展之評估工具
我也趁機再 review "psychometrics & clinimetrics" 二者之異同
如上圖所示: 二者主要差異在於項目與向度之關係
依據 psychometrics 發展之工具,項目與向度之關係必須符合 reflective model 或測量同一概念之項目必須具備單向度。
clinimetrics 則是以 formative model 為基礎(如 social economic status [SES], Glasgow coma scale 由專家挑選主要指標/影響因素)平評估工具之項目毋須具備單向度。

驗證方法之差異,主要在效度方面:psychometrics 強調建構效度(單向度)或同時效度;clinimetrics  則以內容效度為主。故後者較為主觀,也難以取得共識。

我們團隊長期採用 psychometrics 發展與驗證評估工具,這符合學界的主流與趨勢。但遇到如 stroke knowledge & OT knowledge 這些內容幾乎都是以 formative model 為主,就很難依據 psychometrics 發展工具(如OT knowledge之內容含蓋諸多向度,但發展多向度的OT knowledge測驗,不但很難[如理論上難以定義具有哪些向度],也不實用)

學生評析的論文是發展 activity & participation 評估工具,作者邀請專家發展 activity & participation 項目(也就是內容效度)。然而activity & participation二概念本就模糊,ICF的定義也難取得共識,故學術上對二者的概念與定義一直有爭議。作者當然有辦法在一小群專家中取得共識,故可發展出activity & participation評估工具。但其內容要取得其他學者之認同,或諸多實證支持,皆不容易。

換個工具討論此議題, MMSE 內容組成,我認為偏向 formative model。大多數學者不在意它的所有項目是否為單向度。我們主要在意它的 sensitivity & specificity. 因為 MMSE 簡單好用,且 sensitivity & specificity 大致良好。另也缺乏強力對手,因此我們使用MMSE將近半個世紀,還在繼續使用它!

簡言之,我覺得 psychometrics 還是王道。有些概念(如 OT knowledge)若不易發展出單向度或多向度之測驗,或可用 clinimetrics/formative model發展。但研究者須充分證實其反應性與區辨能力[實用價值],且需多加使用(發表論文),取得知名度之後,較能被接受。

以上請惠賜意見!

Note: 1. 有關 formative & reflective models 之概念  可參考我之前的 post
2. 此 post 在南澳(墨爾本)旅途之中完成

References:
de Vet HCW, Terwee CB, Bouter LM. Current challenges in clinimetrics. J Clin Epidemiol 2003;56:1137–41.
Streiner DL. Clinimetrics vs psychometrics: an unnecessary distinction. J Clin Epidemiol 2003;56:1143–5.
de Vet HCW, Terwee CB, Bouter LM. Clinimetric versus psychometrics: two sides of the same coin. J Clin Epidemiol 2003;56:1146–7.
Streiner DL. Test development: two-sided coin or one-sided Mobins strip? J Clin Epidemiol 2003;56:1148–9.

Feinstein AR. An additional science for clinical medicine. The development of clinimetrics. Ann Intern Med 1983;99:843–8. [Feinstein 首先提出 clinimetrics]

Whiteneck G, Dijkers MP. Difficult to measure constructs: conceptual and methodological issues concerning participation and environmental factors. Arch Phys Med Rehabil. 2009 Nov;90(11 Suppl):S22-35.

3 則留言:

  1. 我覺得clinimetrics可能適用於專家們對於特定概念仍不甚瞭解時,依據專家共識之操作型定義而發展的測驗。但我覺得這些領域的概念與測驗漸趨成熟後,最後勢必得回歸psychometrics之考驗。因為透過formative model所發展的測驗,除了會依據專家小組有不同的看法外,評量結果難以解釋是另一大問題。以formative model所發展的測驗,其背後假設異於傳統測驗理論,分數計算與測驗的特質自然也不適用於傳統測驗理論之特質。例如:測量不存在誤差;非單向度各題分數無法加總或做數學運算。故我認為以formative model所發展的測驗,其實也難以合理地驗證反應性與區辨能力等臨床實用價值,除非是作item-level之驗證。

    回覆刪除
  2. 我覺得clinimetrics可能適用於專家們對於特定概念仍不甚瞭解時,依據專家共識之操作型定義而發展的測驗。但我覺得這些領域的概念與測驗漸趨成熟後,最後勢必得回歸psychometrics之考驗。因為透過formative model所發展的測驗,除了會依據專家小組有不同的看法外,評量結果難以解釋是另一大問題。以formative model所發展的測驗,其背後假設異於傳統測驗理論,分數計算與測驗的特質自然也不適用於傳統測驗理論之特質。例如:測量不存在誤差;非單向度各題分數無法加總或做數學運算。故我認為以formative model所發展的測驗,其實也難以合理地驗證反應性與區辨能力等臨床實用價值,除非是作item-level之驗證。

    回覆刪除
  3. FYI: https://www.ncbi.nlm.nih.gov/pubmed/14680661

    回覆刪除