メンバーシップ推論による DP 監査: distinguishing game と経験的下界

メンバーシップ推論による経験的 DP 監査

メンバーシップ推論による DP 監査: distinguishing game と経験的下界

技術解説ページ（モードA）。REPORT.md §2.1・§2.3・§2.4 から参照される補助資料。図ラベルは英語、本文は日本語。事実は出典タグ [n]（末尾の対応表）、筆者の補足は 🔎。

1. DP 監査とは何か

DP 監査は、機構が主張通りのプライバシーを実際に満たすかを経験的に検証する営みである[A12]。形式的な証明（理論上界）が正しくても、実装にバグ（ドメイン漏洩・浮動小数点脆弱性など）があれば実際の漏洩はそれより大きくなりうる。監査は理論を信じる代わりに「攻撃を実際に走らせて漏洩の経験的下界を測り、主張された DP パラメータと比較する」[A1][A12]。

2. distinguishing game（区別ゲーム）

DP の定義そのものが区別ゲームである。監査はこれを次の手続きで具体化する[A1][1]:

  1. チャレンジャが 2 つの隣接データセット x（out）と x'（in。標的レコードを 1 件足したもの）を用意する。
  2. ランダム化機構 M を、各データセットで多数回 独立に学習する（本手法では計 10,000 モデル＝各 5,000）[1]。
  3. 各学習の出力（合成データ・noisy marginals）を敵対者に渡す。
  4. 敵対者は各出力について「in か out か」を当てる。
  5. 当たり外れから FPR（out を in と誤判定） と FNR（in を out と見逃し） を測り、トレードオフ曲線上の点を得る[1]。

この (FPR, FNR) を理論フロンティアと比較し、μ-GDP の経験的 μ に変換する[1]（→ methods/gdp-and-tradeoff.md）。

3. 強敵対者モデル（strong adversary）

DP の保証は強敵対者（機構 M と 2 つの隣接データセット x, x' を知り、ただ「どちらが使われたか」だけを知らない敵）に対して成り立つことを要求する[A19]。監査もこの強敵対者を模す。本手法の敵対者は hybrid black/white-box である[1]:

両特徴を連結し、攻撃分類器（本手法では XGBoost[1]／移植コードでは GradientBoosting[survey]）に食わせて in/out を判別する。

🔎 直感: 強敵対者を仮定するほど経験的下界は上がり（tight に近づき）、現実的な弱い敵を仮定するほど下界は緩む。監査は「保証が壊れていないか」を厳しく問うため、あえて強敵対者を使う。

4. worst-case カナリア（標的レコード）

tight な監査には、標的レコードの影響を最大化する worst-case 構成がしばしば必要である[A1][A15][A16]。本手法では[1]:

この canary は全ての one-way marginal に最大の影響を与えるため、検出可能性（=漏洩）が最大化され、攻撃が理論境界に届きやすくなる[1]。

5. 攻撃 → FPR/FNR → 経験的下界

test 上の予測から TPR・FPR を計算し、joint Bayesian アプローチ（Zanella-Béguelin ら [A18] に着想）で、対応する μ-GDP 領域が事後質量 90% を含むような下界 μ_emp を導出する[1]。

重要な注意: これはベイズ下界であり、Nasr ら [A16] が指摘するとおり頻度論的被覆を必ずしも持たない（経験的にはより tight なことが多い）[1]。「保証された下界」と混同してはならない。

公平性・リーク防止の要として、閾値は validation のみで選び、test は 1 回だけ評価する[1]。これを崩すと test 性能が楽観的に膨らみ、μ_emp が過大になる。

6. なぜ tight が難しいか／従来研究が μ_emp=0 だった理由

強プライバシー領域（ε=1 など）では信号（漏洩）が小さく、攻撃の (FPR,FNR) が理論境界に届きにくい。従来研究は MST に対し、同領域で緩い、しばしばゼロの経験的推定しか得られなかった[1][A1]。

本手法はその主因を閾値選択の不安定さと特定する[1]: 推定 μ̂ を validation で最大化するような不安定な基準を使うと、過度に小さい閾値が選ばれて FPR が過大になり、経験的下界がゼロに潰れる[1]。これが従来の μ_emp=0 の原因と説明される。これに対し、advantage（TPR−FPR）を最大化する基準は閾値に対して滑らかで安定に振る舞い、tight な下界を与える[1]。

🔎 再現の焦点: 本追試（縮小版）は、(1) μ_emp が implied μ=0.45 の近傍に来ること、(2) 閾値選択基準を不安定なものに変えると μ_emp が 0 に潰れること、という 2 つの傾向の再現を目標にする[計画]。数値完全一致は狙わない。

7. まとめ（このページの主張）

出典対応表（本ページ）

本ページの出典タグ（[A1] など）はこの表の各項目へリンクする。末尾の「REPORT の [Rn]」は本体レポートの References の対応番号。