指標監査

七つの失敗の型

「測られていない」は一つのことではない。記事で実際に当たった形を七つに分けている。 同じ指標が複数の型で落ちることがある。

1. 1定義が一つでない

   同じ名前の下に複数の構成概念があり、どれを採るかで対象集団が変わる。指標の数を数えた論文どうしで数が合わないことも含む

2. 2分母が対象を落とす

   計算の分母の取り方によって、特定の人が構造的に計算から外れる。値が低く出るのではなく、そもそも定義できない

3. 3閾値が現象から来ていない

   「該当」と「非該当」を分ける線が、臨床的・機能的な根拠ではなく、集団分布や別制度の区分、設問の書き方から決まっている

4. 4交絡で消える / 別の変数の代理

   教育年数・認知機能・所得などを調整すると関連が消える、あるいはその指標が別の変数とのほうが強く相関する。過剰調整の反論があるため、消えたことの解釈は一義的でない

5. 5介入しても動かない

   その指標を動かそうとする介入を行っても値が変わらない、または変わっても臨床的に意味のある大きさにならない

6. 6制度実装で単位が変わる

   元の概念が個人の属性として定義されているのに、制度は施設や地区の属性として測る。あるいは診療報酬項目を代理指標に使った結果、別のものを数えている

7. 7そもそも測られていない

   その指標について必要なデータが存在しない。研究が一件も無い、政府統計に項目が無い、制度が測っていない

調べる順番

次の式で並べているだけで、順位そのものに意味はない。制度に組み込まれているのに検証が薄いものが、定義上いちばん上に来る。

型は等価ではない。型1（定義）・2（分母）・7（空白）は満たしやすく、満たしても指標の妥当性をほとんど保証しない。 実質的な負荷を担うのは型3（閾値）・4（交絡）・5（反応性）と、型6（単位）である。 だから 3・4・5・6 は重み2、1・2・7 は重み1 で数える。 等価に数えると、安い三つだけを通った指標が健全に見えてしまう。

優先度 ＝ 影響度 × 欠落度 ÷埋めにくさ

• 影響度：法令・診療報酬・政府統計に入っていれば3、告示やガイドラインなら2、研究のみなら1
• 欠落度：立った失敗の型の重み付き合計。 まだ一本も扱っていない指標は暫定で6を置く（重み付き満点は11）
• 埋めにくさ：既存データで埋まれば1、新規調査が要れば2、見通しが立たなければ3

三つの一覧