時系列データ拡張は所定性能に必要な実被験者数を削減できるか
UCR ベンチマークでの系統評価と被験者ID付きデータ(UCI HAR)での実証
信号データ拡張・論文追試プロジェクト ・ 自動生成レポート ・ 2026-08-24 06:52 UTC
このレポートの読み方
本タブ(レポート)はサーベイ [8] の内容解説と、その部分的な追試を扱う。データ・手法・データセット別の学習/評価・被験者数削減は、それぞれ独立したタブに分けた。
要旨
本研究は、時系列データ拡張が分類精度に与える効果を UCR Time Series Classification Archive [1] の 10 データセット(取得した 13 件から、軸が時間でない 3 件を除いたもの)で系統的に評価し(被験者ID付きデータ 4 件を含め計 2786 run)、被験者ID付きデータ (UCI HAR [12])へ展開して「所定の分類性能に必要な実被験者数をデータ拡張でどれだけ削減できるか」を定量する。 1D-CNN では 5 手法の拡張が精度を統計的に有意に改善する一方、MiniRocket [4] では有意な改善が 見られず、効果はモデルに強く依存する。被験者数削減では、事前登録した目標精度 0.90 に必要な実被験者数は拡張なしで約 8.85 名であり、点推定では DTW ベース合成 [9] が最大 10.8% の削減を示すが、反復が少なく信頼区間が対照と重なるため確定できない。 この「削減を確定できない(帰無)」という結論は第2の被験者データ WISDM v1.1 [13] でも一貫して再現され(ただし最良手法の順位は再現せず、指標にも依存する)、第3の PAMAP2 [14] を加えた3データ横断でも母集団被験者数(5〜24名)に沿う系統トレンドは検出されない(PAMAP2 は少 N・高 baseline で左側打ち切り=削減率推定不能)。 さらに信号種を変えた第4データ WESAD [16](生理信号)では full-pool baseline が near-chance(乱ラベル対照と同水準)で、そもそも削減を論じる前提が成立せず、HAR 向け枠組みの非転移(信号種依存)が示された。 これら4データを統合すると、削減は測定可能なら帰無・それ以外は推定不能で、対照を明確に超えて実被験者を削減できたデータは1つも無い(以上の RQ2 の結果一式は「被験者数削減」タブ)。 したがって本設定ではデータ拡張による被験者数削減を統計的に確定できない。 本レポートの位置づけは、サーベイ [8] の内容解説とその部分的な追試(UCR での精度効果。サーベイ 128 データセットに対し本研究は 10 データセット)であり、被験者数削減の評価枠組みと negative control による健全性検証が本研究独自の貢献である。 すべての結果は目標の事前登録とデータリーク防止プロトコルの下で得られ、実験基盤・レポートは完全に自動生成される。
1. 序論
ラベル付き信号データ、とりわけ被験者ごとに計測が必要な生体・行動データの収集は高コストである。データ拡張は学習データを 人工的に水増しして少データ性能を補う代表的手法だが、時系列領域では効果が手法・データ・モデルに依存することが報告されている [8]。本研究はこの効果を公開データで追試したうえで、実応用上重要な問い——「拡張は実被験者の追加をどこまで代替できるか」——に答える。
先行研究として、Iwana & Uchida のサーベイ [8] は時系列データ拡張の効果がデータセット・モデルに依存し一様でないことを体系的に示した。 しかし多くの評価は「拡張が精度をどれだけ上げるか」に留まり、応用側で本当に問われる「拡張が実被験者の追加をどこまで代替できるか」を、 被験者単位の学習曲線と対照実験によって定量した研究は乏しい。本研究はこの空隙を埋める。
本研究の貢献は以下のとおり。
- 追試 UCR [1] 10 データセット × 7 拡張 × 2 モデル × 学習比率 5 段階での精度効果の系統評価と、多重比較補正付きの有意性検定(§6.1)。先行研究 [8] の傾向を公開データで確認する。
- 独自 被験者単位の学習曲線から必要被験者数 N* を推定し、削減率・等価被験者数・信頼区間を与える評価枠組みを本研究の提案として定式化する(§3、目標性能は事前登録)。
- 独自 対照(negative control)による健全性検証。見かけの削減が、ラベルを壊す・量だけ増やす対照でも再現されることを示し、削減主張に「対照越え」を課す(§3.3、§6.3)。
- 独自 リーク防止・run manifest・監査・レポート生成まで完全自動化した再現可能な実験基盤(再現手順は再現・前処理ノートタブ)。
以降、§1.5 でサーベイ [8] の内容と本研究が追試した範囲・していない範囲を整理し、§2 で問題を形式的に設定、§3 で提案する評価枠組みを述べる。 §4 に評価対象の既存拡張手法、§5 に実験設計、§6 に RQ1(精度効果)の結果、§7–§9 に考察・限界・まとめを示す。 RQ2(被験者数削減)の結果はデータセット横断で量が多いため独立タブに、データセットごとの学習・評価条件と個別結果も独立タブに分けた。
1.5 サーベイ [8] の内容と、本研究の追試範囲
時系列分類向けデータ拡張手法を体系的に整理し、UCR アーカイブ128データセット上で ニューラルネット分類器と組み合わせて横断評価した実証サーベイ。手法を変換の種類で 分類し、「どの手法がどの条件で効くか」はデータセットとモデルに強く依存する、という のが中心的な結論。
本レポートはこのサーベイの内容を解説したうえで、その一部を独立に追試する。追試の範囲は UCR の 13 データセット × 拡張 7 種 × モデル 2 種で、サーベイの規模(128データセット)には 及ばない。そのうえで、サーベイが扱っていない「必要実被験者数の削減」という応用側の問いを 被験者ID付きデータで独自に評価した(別タブ)。
1.5.1 手法の分類体系と本研究のカバレッジ
サーベイは拡張手法を変換の種類で分類する。本研究が触れたのは 2 群のみで、残りは未評価である。
| サーベイの分類 | 内容 | 本研究 | 未評価の範囲 |
|---|---|---|---|
| Magnitude domain(振幅領域の変換) | 値そのものを変換する。jittering(ノイズ付加)・scaling(振幅倍率)・magnitude warping など。 | 一部評価 jitter, scaling | magnitude warping・rotation・permutation などの残りの変換は未評価。 |
| Time domain(時間領域の変換) | 時間軸を変換する。time warping・window slicing・window warping など。 | 未評価 | 時間軸そのものを歪める手法は本研究では単独評価していない。DTW ベース合成が時間整列を 使うが、これはパターン合成として扱っており、time warping の追試ではない。 |
| Frequency domain(周波数領域の変換) | フーリエ変換等で周波数成分を操作する。 | 未評価 | 未評価。 |
| Pattern mixing(サンプル間の混合) | 複数サンプルを混ぜて新しいサンプルを作る。SMOTE・mixup・DTW ベース平均(DBA 等)。 | 一部評価 mixup, dtw, smote | DBA による重み付き重心合成(原法)は簡略版で代替。 |
| Generative models(生成モデル) | GAN・VAE 等で学習した生成器から合成サンプルを得る。 | 未評価 | TimeGAN 等は未実装。計算コストと再現性の観点から本研究の範囲外とした。 |
| Decomposition(分解に基づく手法) | EMD・STL 等で成分分解し、成分を入れ替えて合成する。 | 未評価 | 未評価。 |
表1: サーベイの手法分類と本研究のカバレッジ。各手法の詳細は「拡張手法」タブ。
1.5.2 サーベイの主張と追試の結果
| # | サーベイの主張 | 本研究 | 根拠と補足 |
|---|---|---|---|
| C1 | 拡張の効果はデータセットに強く依存し、全データセットで一貫して効く手法は存在しない。 | 再現 | F-1F-2F-5F-7 13データセット横断でも、同一手法の効果はデータセットによって符号が変わる。フル学習データ条件 では改善は小さく、悪化する組合せもある。 |
| C2 | 拡張の効果はモデル(分類器)にも依存する。 | 再現 | F-5F-6 1D-CNN では複数手法が多重比較補正後も有意に改善する一方、MiniRocket ではどの手法も有意でない。 サーベイの「モデル依存」をモデル2種の対比として明確に再現した。 |
| C3 | 学習データが少ない条件ほど拡張の相対的な効き目が大きい。 | 再現 | F-7 学習比率スイープ(10〜100%)で、中〜低比率での効果が相対的に大きい傾向を確認。 |
| C4 | 単純な手法(jittering 等)でも、複雑な手法に劣らない場合がある。 | 部分的 | F-5 本研究の範囲では pattern 系(mixup/dtw/smote)が 1D-CNN で上位だったが、順位は指標に依存し、 反復数も少ないため「単純 vs 複雑」の優劣は結論づけない。 |
| C5 | 拡張手法の選択はデータセットの性質(クラス数・系列長・ドメイン)に応じて行うべき。 | 未検証 | データセット性質と最適手法の対応づけには、より多くのデータセットと反復が要る。本研究は 13データセットでの傾向確認に留まり、選択指針は導出していない。 |
表2: サーベイの主要な主張 5 件のうち 3 件を本研究の範囲で再現した。データセットごとの学習・評価条件と結果は「学習と評価」タブ。
1.5.3 サーベイを越えて本研究が独自に行ったこと
- 独自 必要実被験者数(N*)の削減という評価軸: サーベイは精度改善を評価軸とする。本研究は被験者単位の学習曲線から「目標性能に必要な 実被験者数」を推定し、拡張がそれをどれだけ減らせるかを直接測る枠組みを定式化した。
- 独自 negative control による「対照越え」判定: 見かけの削減が、ラベルを壊した対照や単純増量でも同程度に再現されることを示し、削減の主張に 対照を超えることを課した。これは精度改善の評価では使われていない健全性チェック。
- 独自 事前登録とリーク防止の運用: 目標性能を結果を見る前に固定し、被験者非跨り分割・test 不使用をコードで検査する運用を 実験基盤に組み込んだ。
これらの結果は「被験者数削減」タブにまとめた。
2. 問題設定
被験者ID付きの信号分類データを考える。被験者集合 S から学習に用いる被験者部分集合 Strain ⊆ S を選び、その被験者に由来する系列で分類器を学習する。テストは Strain と被験者が重ならない固定の held-out(評価用に取り置く) 集合で行う(被験者跨ぎのリークを排除)。データ拡張 A は学習データにのみ適用し、合成系列を追加して学習集合を水増しする。
本研究の研究課題と仮説を次のように定める。
- RQ1(精度効果): 時系列拡張は分類精度をどの条件で改善するか(手法・モデル・学習データ量への依存)。
- RQ2(被験者数削減): 所定の目標性能 τ の達成に必要な実被験者数を、拡張はどれだけ削減できるか。
- H1: 拡張の効果は低データ条件で相対的に大きい。
- H2: 効果はデータ・モデルに依存し一様でない。
- H3: 拡張は実被験者の追加を部分的に代替する(必要被験者数を減らす)。
RQ2 を測るため、必要被験者数 N*(A) を「学習被験者数 N を増やしたとき、拡張 A の下でテスト性能が初めて目標 τ を超える N」と定義する。 拡張なしの基準 N*(none) に対し、削減率 = 1 − N*(A) / N*(none)、等価被験者数(節約数)= N*(none) − N*(A) を評価量とする。 目標 τ は結果を見る前に事前登録する(§3.2)。削減率は必ず対照と比較して解釈する(§3.3)。
3. 提案手法:被験者数削減の評価枠組み
本研究が提案するのは新しいデータ拡張手法ではなく、拡張が「実被験者の追加をどこまで代替するか」を誤検出に頑健な形で測る評価枠組みである。 枠組みは (i) 被験者単位の学習曲線からの N* 推定、(ii) 目標性能の事前登録、(iii) negative control による「対照越え」判定、の 3 要素からなる。
3.1 被験者数学習曲線と N* 推定
学習被験者数 N を段階的に増やし(各 N で複数の被験者部分集合を seed 固定で抽選)、固定 held-out test 上の精度を測って学習曲線を描く。 拡張手法ごとに曲線を求め、目標 τ を最初に超える点を線形補間して N* を推定する。反復抽選の分散から bootstrap(再標本による区間推定)で N* の 95% 信頼区間を与える。 同一被験者が学習とテストに跨らない group split をコードで検査し、拡張は各部分集合の学習データにのみ当てる。
3.2 目標性能の事前登録
目標 τ を結果に合わせて選ぶと削減率をいくらでも都合よくできる。これを防ぐため、τ・指標・評価手続きを1 run も実行する前に登録する (artifacts/pre_registration.md)。本研究では指標 = test accuracy、τ = 0.90 を採用した。この値は UCI HAR で Anguita ら [12] が報告した水準に基づく文献由来の丸い値であり、結果を見てからの調整は行っていない。
3.3 Negative control と「対照越え」判定
少データでは、量を単純に増やす・ラベルを壊すといった操作でも見かけ上 N* が下がりうる。そこで対照 label_shuffle——正しいラベルの元データを残し複製分にだけ乱ラベルを与える(元データ保持+ラベルノイズ)悲観的対照——を同じ枠組みに通し、そこで生じる「見かけの削減率」をノイズ床とみなす。ある拡張の削減主張は、 点推定がこの対照(および純粋な量の水増しである oversample)を明確に上回り、かつ信頼区間が分離して初めて支持される(対照越え基準)。この基準により、正則化や偶然の変動によるアーティファクトを真の削減と取り違えることを防ぐ。
5. 実験設計
5.1 データセット
UCR アーカイブ [1] から小〜中規模の 10 データセットで RQ1 を評価し(取得した 13 件のうち、軸が時間でない 3 件は主結果から除外し付録タブに移した)、RQ2(被験者数削減)の主対象には 被験者ID付きの UCI HAR [12](30名)を、第2の被験者データに WISDM v1.1 [13](36名)を選定した(計 14 データセット)。 各データセットの中身・1レコードの構造・実波形は「データセット」タブにある。
| 名前 | ソース | 備考 |
|---|---|---|
| ECG5000 | ucr | UCR archive. 5000 heartbeats, 5 classes, length 140. |
| FordA | ucr | UCR archive. Engine noise classification, 2 classes, length 500. |
| GunPoint | ucr | UCR archive. Motion capture, 2 classes, length 150. |
| ECG200 | ucr | ECG, 2 classes, 100 train. |
| TwoLeadECG | ucr | ECG, 2 classes, 23 train (intrinsically low-data). |
| ItalyPowerDemand | ucr | Power demand, 2 classes, 67 train, length 24. |
| MoteStrain | ucr | Sensor, 2 classes, 20 train. |
| SonyAIBORobotSurface1 | ucr | Robot accelerometer, 2 classes, 20 train. |
| CBF | ucr | Simulated (Cylinder-Bell-Funnel), 3 classes, 30 train. |
| Wafer | ucr | Semiconductor sensor, 2 classes, 1000 train, imbalanced. |
表2: RQ1 で使用した UCR データセット(軸が時間でない 3 件は付録タブに分離した)。この他に、ネットワーク不要の動作確認(smoke)専用の合成データが config にあるが、モデル評価には一切用いないため本表・全集計から除いている。
5.2 モデル
| 名前 | 種類 | パラメータ |
|---|---|---|
| cnn1d | cnn1d | {'epochs': 100, 'patience': 15, 'batch_size': 32, 'lr': 0.001, 'val_fraction': 0.2, 'hidden': 64} |
| cnn1d_smoke | cnn1d | {'epochs': 15, 'patience': 5, 'batch_size': 16, 'lr': 0.001, 'val_fraction': 0.25, 'hidden': 16} |
| cnn1d_har | cnn1d | {'epochs': 40, 'patience': 8, 'batch_size': 64, 'lr': 0.001, 'val_fraction': 0.2, 'hidden': 64} |
| minirocket | minirocket | {'n_kernels': 10000} |
| minirocket_smoke | minirocket | {'n_kernels': 500} |
表3: モデル。1D-CNN は標準的な深層ベースライン [10]、MiniRocket [4] は ROCKET [3] 系の高速な変換ベース手法。_smoke/_har 付き構成は計算量調整のための軽量版。
5.3 評価プロトコルとリーク防止
- データ拡張・スケーリング等の当てはめは学習データにのみ適用し、テストデータには一切触れない。
- UCR の公式 train/test 分割をそのまま用いる。学習側が極端に小さい分割(例: CBF は train 30 / test 900)も再分割しない。既発表の数値と比較可能にするためであり、test を学習側に回す操作は分割の選択自体が結果に依存しうるため行わない。学習量の影響は、学習比率スイープ(§6.2)で学習側だけを縮小して測る。
- 被験者データでは同一被験者が train と test を跨がない group split を用い、コードで disjoint 性を検査する。
- 目標性能は結果を見る前に事前登録する(§3.2、artifacts/pre_registration.md)。
- 乱数 seed は run 単位で固定(分割・拡張・初期化に適用)し、全 run に一意 run_id と manifest を付す。
5.4 統計手法
拡張なし(none)との対比較は Wilcoxon 符号順位検定で行い、多重比較は Holm–Bonferroni 法(step-down)で補正して 有意水準 α=0.05 を判定する。被験者数削減の N* は学習曲線の線形補間で推定し、反復にわたる bootstrap で 95% 信頼区間を与える(§3.1)。
6. 実験結果(RQ1: 精度効果)
本節はサーベイの追試部分にあたる RQ1(拡張が精度をどの条件で改善するか)を扱う。 RQ2(必要実被験者数の削減)の結果は「被験者数削減」タブ、 データセット単体の学習・評価条件と結果は「学習と評価」タブにある。
6.1 精度と有意性(RQ1)
学習比率 100% での seed 平均精度と拡張なしとの差分 Δ は、データセット×拡張×モデルの全 168 条件ぶんあるため表4に畳んだ。 個々のデータセットを読むなら「学習と評価」タブのほうが、そのデータの問題設定・評価条件と並べて見られる。学習比率スイープは §6.2 の図で示す。
改善が大きかった条件
- MoteStrain / mixup / cnn1d +25.1pt
- MoteStrain / dtw / cnn1d +24.7pt
- CBF / smote / cnn1d +23.9pt
悪化が大きかった条件
- TwoLeadECG / smote / cnn1d -16.6pt
- PAMAP2 / label_shuffle / cnn1d_har -13.8pt
- GunPoint / dtw / cnn1d -9.1pt
同一手法でも条件によって符号が変わる。これは個々の条件の点推定であり、有意性は表5の検定で判断する(少データのデータセットでは1件の増減が数pt動く)。
表4: 全 168 条件の精度を開く
| データセット | 拡張 | モデル | 精度 | Δ vs none | macro-F1 | bal. acc. |
|---|---|---|---|---|---|---|
| CBF | dtw | cnn1d | 0.9619 ± 0.0072 | -0.0118 | 0.9616 | 0.9619 |
| CBF | dtw | minirocket | 0.9967 ± 0.0000 | -0.0014 | 0.9967 | 0.9967 |
| CBF | jitter | cnn1d | 0.9804 ± 0.0013 | +0.0067 | 0.9803 | 0.9804 |
| CBF | jitter | minirocket | 0.9978 ± 0.0000 | -0.0003 | 0.9978 | 0.9978 |
| CBF | mixup | cnn1d | 0.9756 ± 0.0051 | +0.0019 | 0.9755 | 0.9756 |
| CBF | mixup | minirocket | 0.9974 ± 0.0006 | -0.0007 | 0.9974 | 0.9974 |
| CBF | none | cnn1d | 0.9737 ± 0.0139 | — | 0.9735 | 0.9737 |
| CBF | none | minirocket | 0.9981 ± 0.0006 | — | 0.9982 | 0.9981 |
| CBF | oversample | cnn1d | 0.9822 ± 0.0019 | +0.0085 | 0.9822 | 0.9822 |
| CBF | oversample | minirocket | 0.9981 ± 0.0006 | +0.0000 | 0.9982 | 0.9981 |
| CBF | scaling | cnn1d | 0.9807 ± 0.0028 | +0.0070 | 0.9807 | 0.9808 |
| CBF | scaling | minirocket | 0.9978 ± 0.0000 | -0.0003 | 0.9978 | 0.9978 |
| CBF | smote | cnn1d | 0.9626 ± 0.0117 | -0.0111 | 0.9625 | 0.9626 |
| CBF | smote | minirocket | 0.9967 ± 0.0000 | -0.0014 | 0.9967 | 0.9967 |
| ECG200 | dtw | cnn1d | 0.8367 ± 0.0252 | +0.0167 | 0.8136 | 0.8015 |
| ECG200 | dtw | minirocket | 0.8867 ± 0.0058 | -0.0166 | 0.8754 | 0.8709 |
| ECG200 | jitter | cnn1d | 0.8267 ± 0.0058 | +0.0067 | 0.8064 | 0.7998 |
| ECG200 | jitter | minirocket | 0.8867 ± 0.0115 | -0.0166 | 0.8749 | 0.8689 |
| ECG200 | mixup | cnn1d | 0.8467 ± 0.0058 | +0.0267 | 0.8257 | 0.8134 |
| ECG200 | mixup | minirocket | 0.8933 ± 0.0208 | -0.0100 | 0.8831 | 0.8802 |
| ECG200 | none | cnn1d | 0.8200 ± 0.0300 | — | 0.7935 | 0.7824 |
| ECG200 | none | minirocket | 0.9033 ± 0.0058 | — | 0.8940 | 0.8900 |
| ECG200 | oversample | cnn1d | 0.8500 ± 0.0265 | +0.0300 | 0.8301 | 0.8200 |
| ECG200 | oversample | minirocket | 0.8933 ± 0.0058 | -0.0100 | 0.8828 | 0.8782 |
| ECG200 | scaling | cnn1d | 0.8267 ± 0.0153 | +0.0067 | 0.8039 | 0.7937 |
| ECG200 | scaling | minirocket | 0.8933 ± 0.0058 | -0.0100 | 0.8822 | 0.8762 |
| ECG200 | smote | cnn1d | 0.8700 ± 0.0200 | +0.0500 | 0.8579 | 0.8559 |
| ECG200 | smote | minirocket | 0.8967 ± 0.0306 | -0.0066 | 0.8860 | 0.8808 |
| ECG5000 | dtw | cnn1d | 0.9377 ± 0.0035 | -0.0037 | 0.5747 | 0.5399 |
| ECG5000 | dtw | minirocket | 0.9398 ± 0.0009 | -0.0051 | 0.6127 | 0.5888 |
| ECG5000 | jitter | cnn1d | 0.9381 ± 0.0006 | -0.0033 | 0.5494 | 0.5187 |
| ECG5000 | jitter | minirocket | 0.9431 ± 0.0021 | -0.0018 | 0.6192 | 0.5745 |
| ECG5000 | mixup | cnn1d | 0.9376 ± 0.0026 | -0.0038 | 0.5525 | 0.5243 |
| ECG5000 | mixup | minirocket | 0.9435 ± 0.0013 | -0.0014 | 0.6241 | 0.5859 |
| ECG5000 | none | cnn1d | 0.9414 ± 0.0020 | — | 0.5566 | 0.5237 |
| ECG5000 | none | minirocket | 0.9449 ± 0.0007 | — | 0.5948 | 0.5451 |
| ECG5000 | oversample | cnn1d | 0.9392 ± 0.0020 | -0.0022 | 0.5529 | 0.5220 |
| ECG5000 | oversample | minirocket | 0.9445 ± 0.0008 | -0.0004 | 0.6203 | 0.5713 |
| ECG5000 | scaling | cnn1d | 0.9370 ± 0.0029 | -0.0044 | 0.5494 | 0.5207 |
| ECG5000 | scaling | minirocket | 0.9456 ± 0.0005 | +0.0007 | 0.6257 | 0.5794 |
| ECG5000 | smote | cnn1d | 0.9331 ± 0.0050 | -0.0083 | 0.5498 | 0.5243 |
| ECG5000 | smote | minirocket | 0.9441 ± 0.0008 | -0.0008 | 0.6192 | 0.5758 |
| FordA | dtw | cnn1d | 0.9369 ± 0.0016 | +0.0023 | 0.9369 | 0.9375 |
| FordA | dtw | minirocket | 0.9374 ± 0.0009 | -0.0116 | 0.9373 | 0.9373 |
| FordA | jitter | cnn1d | 0.9356 ± 0.0046 | +0.0010 | 0.9356 | 0.9357 |
| FordA | jitter | minirocket | 0.9235 ± 0.0087 | -0.0255 | 0.9234 | 0.9234 |
| FordA | mixup | cnn1d | 0.9351 ± 0.0009 | +0.0005 | 0.9351 | 0.9352 |
| FordA | mixup | minirocket | 0.9348 ± 0.0040 | -0.0142 | 0.9348 | 0.9349 |
| FordA | none | cnn1d | 0.9346 ± 0.0032 | — | 0.9345 | 0.9345 |
| FordA | none | minirocket | 0.9490 ± 0.0016 | — | 0.9489 | 0.9488 |
| FordA | oversample | cnn1d | 0.9346 ± 0.0004 | +0.0000 | 0.9345 | 0.9345 |
| FordA | oversample | minirocket | 0.9136 ± 0.0066 | -0.0354 | 0.9135 | 0.9134 |
| FordA | scaling | cnn1d | 0.9318 ± 0.0015 | -0.0028 | 0.9317 | 0.9317 |
| FordA | scaling | minirocket | 0.9260 ± 0.0054 | -0.0230 | 0.9259 | 0.9259 |
| FordA | smote | cnn1d | 0.9366 ± 0.0029 | +0.0020 | 0.9366 | 0.9369 |
| FordA | smote | minirocket | 0.9447 ± 0.0008 | -0.0043 | 0.9447 | 0.9447 |
| GunPoint | dtw | cnn1d | 0.9889 ± 0.0034 | +0.0000 | 0.9889 | 0.9889 |
| GunPoint | dtw | minirocket | 0.9978 ± 0.0034 | +0.0000 | 0.9978 | 0.9977 |
| GunPoint | jitter | cnn1d | 0.9911 ± 0.0138 | +0.0022 | 0.9911 | 0.9910 |
| GunPoint | jitter | minirocket | 0.9978 ± 0.0034 | +0.0000 | 0.9978 | 0.9978 |
| GunPoint | mixup | cnn1d | 0.9933 ± 0.0000 | +0.0044 | 0.9933 | 0.9934 |
| GunPoint | mixup | minirocket | 0.9956 ± 0.0034 | -0.0022 | 0.9956 | 0.9956 |
| GunPoint | none | cnn1d | 0.9889 ± 0.0172 | — | 0.9889 | 0.9887 |
| GunPoint | none | minirocket | 0.9978 ± 0.0034 | — | 0.9978 | 0.9977 |
| GunPoint | oversample | cnn1d | 1.0000 ± 0.0000 | +0.0111 | 1.0000 | 1.0000 |
| GunPoint | oversample | minirocket | 0.9978 ± 0.0034 | +0.0000 | 0.9978 | 0.9977 |
| GunPoint | scaling | cnn1d | 0.9978 ± 0.0034 | +0.0089 | 0.9978 | 0.9977 |
| GunPoint | scaling | minirocket | 1.0000 ± 0.0000 | +0.0022 | 1.0000 | 1.0000 |
| GunPoint | smote | cnn1d | 0.9978 ± 0.0034 | +0.0089 | 0.9978 | 0.9978 |
| GunPoint | smote | minirocket | 0.9978 ± 0.0034 | +0.0000 | 0.9978 | 0.9977 |
| ItalyPowerDemand | dtw | cnn1d | 0.9556 ± 0.0115 | -0.0020 | 0.9556 | 0.9556 |
| ItalyPowerDemand | dtw | minirocket | 0.9627 ± 0.0020 | -0.0020 | 0.9627 | 0.9627 |
| ItalyPowerDemand | jitter | cnn1d | 0.9589 ± 0.0011 | +0.0013 | 0.9589 | 0.9588 |
| ItalyPowerDemand | jitter | minirocket | 0.9634 ± 0.0022 | -0.0013 | 0.9634 | 0.9634 |
| ItalyPowerDemand | mixup | cnn1d | 0.9517 ± 0.0020 | -0.0059 | 0.9517 | 0.9517 |
| ItalyPowerDemand | mixup | minirocket | 0.9627 ± 0.0034 | -0.0020 | 0.9627 | 0.9627 |
| ItalyPowerDemand | none | cnn1d | 0.9576 ± 0.0115 | — | 0.9576 | 0.9575 |
| ItalyPowerDemand | none | minirocket | 0.9647 ± 0.0006 | — | 0.9647 | 0.9647 |
| ItalyPowerDemand | oversample | cnn1d | 0.9598 ± 0.0048 | +0.0022 | 0.9598 | 0.9598 |
| ItalyPowerDemand | oversample | minirocket | 0.9647 ± 0.0020 | +0.0000 | 0.9647 | 0.9647 |
| ItalyPowerDemand | scaling | cnn1d | 0.9598 ± 0.0062 | +0.0022 | 0.9598 | 0.9598 |
| ItalyPowerDemand | scaling | minirocket | 0.9637 ± 0.0022 | -0.0010 | 0.9637 | 0.9637 |
| ItalyPowerDemand | smote | cnn1d | 0.9618 ± 0.0037 | +0.0042 | 0.9618 | 0.9618 |
| ItalyPowerDemand | smote | minirocket | 0.9634 ± 0.0006 | -0.0013 | 0.9634 | 0.9634 |
| MoteStrain | dtw | cnn1d | 0.8954 ± 0.0021 | +0.2016 | 0.8940 | 0.8920 |
| MoteStrain | dtw | minirocket | 0.9271 ± 0.0028 | -0.0085 | 0.9260 | 0.9233 |
| MoteStrain | jitter | cnn1d | 0.8922 ± 0.0050 | +0.1984 | 0.8911 | 0.8899 |
| MoteStrain | jitter | minirocket | 0.9302 ± 0.0026 | -0.0054 | 0.9294 | 0.9275 |
| MoteStrain | mixup | cnn1d | 0.8890 ± 0.0152 | +0.1952 | 0.8869 | 0.8842 |
| MoteStrain | mixup | minirocket | 0.9310 ± 0.0060 | -0.0046 | 0.9302 | 0.9284 |
| MoteStrain | none | cnn1d | 0.6938 ± 0.2127 | — | 0.6346 | 0.6986 |
| MoteStrain | none | minirocket | 0.9356 ± 0.0032 | — | 0.9349 | 0.9332 |
| MoteStrain | oversample | cnn1d | 0.8903 ± 0.0069 | +0.1965 | 0.8892 | 0.8881 |
| MoteStrain | oversample | minirocket | 0.9369 ± 0.0028 | +0.0013 | 0.9362 | 0.9346 |
| MoteStrain | scaling | cnn1d | 0.8978 ± 0.0035 | +0.2040 | 0.8969 | 0.8960 |
| MoteStrain | scaling | minirocket | 0.9430 ± 0.0018 | +0.0074 | 0.9425 | 0.9412 |
| MoteStrain | smote | cnn1d | 0.8930 ± 0.0070 | +0.1992 | 0.8916 | 0.8896 |
| MoteStrain | smote | minirocket | 0.9252 ± 0.0033 | -0.0104 | 0.9242 | 0.9218 |
| PAMAP2 | dtw | cnn1d_har | 0.7815 ± 0.0378 | +0.0167 | 0.7700 | 0.7689 |
| PAMAP2 | label_shuffle | cnn1d_har | 0.6265 ± 0.0645 | -0.1383 | 0.5413 | 0.5648 |
| PAMAP2 | mixup | cnn1d_har | 0.7685 ± 0.0470 | +0.0037 | 0.7488 | 0.7523 |
| PAMAP2 | none | cnn1d_har | 0.7648 ± 0.0372 | — | 0.7400 | 0.7317 |
| PAMAP2 | oversample | cnn1d_har | 0.7673 ± 0.0376 | +0.0025 | 0.7366 | 0.7383 |
| PAMAP2 | scaling | cnn1d_har | 0.7685 ± 0.0344 | +0.0037 | 0.7395 | 0.7356 |
| PAMAP2 | smote | cnn1d_har | 0.7769 ± 0.0333 | +0.0121 | 0.7569 | 0.7505 |
| SonyAIBORobotSurface1 | dtw | cnn1d | 0.9434 ± 0.0116 | +0.1464 | 0.9430 | 0.9504 |
| SonyAIBORobotSurface1 | dtw | minirocket | 0.8314 ± 0.0133 | +0.0150 | 0.8313 | 0.8508 |
| SonyAIBORobotSurface1 | jitter | cnn1d | 0.9190 ± 0.0173 | +0.1220 | 0.9187 | 0.9291 |
| SonyAIBORobotSurface1 | jitter | minirocket | 0.8131 ± 0.0035 | -0.0033 | 0.8129 | 0.8348 |
| SonyAIBORobotSurface1 | mixup | cnn1d | 0.9229 ± 0.0171 | +0.1259 | 0.9226 | 0.9325 |
| SonyAIBORobotSurface1 | mixup | minirocket | 0.8170 ± 0.0044 | +0.0006 | 0.8168 | 0.8380 |
| SonyAIBORobotSurface1 | none | cnn1d | 0.7970 ± 0.1656 | — | 0.7889 | 0.8222 |
| SonyAIBORobotSurface1 | none | minirocket | 0.8164 ± 0.0019 | — | 0.8162 | 0.8377 |
| SonyAIBORobotSurface1 | oversample | cnn1d | 0.9224 ± 0.0222 | +0.1254 | 0.9221 | 0.9320 |
| SonyAIBORobotSurface1 | oversample | minirocket | 0.8131 ± 0.0053 | -0.0033 | 0.8128 | 0.8350 |
| SonyAIBORobotSurface1 | scaling | cnn1d | 0.9107 ± 0.0241 | +0.1137 | 0.9105 | 0.9218 |
| SonyAIBORobotSurface1 | scaling | minirocket | 0.8087 ± 0.0029 | -0.0077 | 0.8083 | 0.8309 |
| SonyAIBORobotSurface1 | smote | cnn1d | 0.9373 ± 0.0269 | +0.1403 | 0.9370 | 0.9451 |
| SonyAIBORobotSurface1 | smote | minirocket | 0.8203 ± 0.0246 | +0.0039 | 0.8201 | 0.8408 |
| TwoLeadECG | dtw | cnn1d | 0.9880 ± 0.0125 | +0.1615 | 0.9880 | 0.9880 |
| TwoLeadECG | dtw | minirocket | 0.9962 ± 0.0013 | +0.0015 | 0.9962 | 0.9962 |
| TwoLeadECG | jitter | cnn1d | 0.9912 ± 0.0079 | +0.1647 | 0.9912 | 0.9912 |
| TwoLeadECG | jitter | minirocket | 0.9965 ± 0.0000 | +0.0018 | 0.9965 | 0.9965 |
| TwoLeadECG | mixup | cnn1d | 0.9944 ± 0.0028 | +0.1679 | 0.9944 | 0.9944 |
| TwoLeadECG | mixup | minirocket | 0.9944 ± 0.0005 | -0.0003 | 0.9944 | 0.9944 |
| TwoLeadECG | none | cnn1d | 0.8265 ± 0.2824 | — | 0.7708 | 0.8263 |
| TwoLeadECG | none | minirocket | 0.9947 ± 0.0018 | — | 0.9947 | 0.9947 |
| TwoLeadECG | oversample | cnn1d | 0.9792 ± 0.0159 | +0.1527 | 0.9792 | 0.9792 |
| TwoLeadECG | oversample | minirocket | 0.9959 ± 0.0013 | +0.0012 | 0.9959 | 0.9959 |
| TwoLeadECG | scaling | cnn1d | 0.9792 ± 0.0096 | +0.1527 | 0.9792 | 0.9792 |
| TwoLeadECG | scaling | minirocket | 0.9977 ± 0.0010 | +0.0030 | 0.9977 | 0.9977 |
| TwoLeadECG | smote | cnn1d | 0.9748 ± 0.0315 | +0.1483 | 0.9748 | 0.9749 |
| TwoLeadECG | smote | minirocket | 0.9962 ± 0.0013 | +0.0015 | 0.9962 | 0.9962 |
| UCI_HAR | dtw | cnn1d_har | 0.9127 ± 0.0352 | +0.0018 | 0.9135 | 0.9141 |
| UCI_HAR | label_shuffle | cnn1d_har | 0.8994 ± 0.0288 | -0.0115 | 0.8996 | 0.9004 |
| UCI_HAR | mixup | cnn1d_har | 0.9093 ± 0.0361 | -0.0016 | 0.9103 | 0.9106 |
| UCI_HAR | none | cnn1d_har | 0.9109 ± 0.0402 | — | 0.9121 | 0.9126 |
| UCI_HAR | oversample | cnn1d_har | 0.9076 ± 0.0390 | -0.0033 | 0.9091 | 0.9089 |
| UCI_HAR | scaling | cnn1d_har | 0.9163 ± 0.0303 | +0.0054 | 0.9176 | 0.9175 |
| UCI_HAR | smote | cnn1d_har | 0.9081 ± 0.0401 | -0.0028 | 0.9094 | 0.9096 |
| WESAD | dtw | cnn1d_har | 0.5317 ± 0.0477 | +0.0002 | 0.4881 | 0.5103 |
| WESAD | label_shuffle | cnn1d_har | 0.5617 ± 0.0606 | +0.0302 | 0.4878 | 0.5126 |
| WESAD | mixup | cnn1d_har | 0.5111 ± 0.0468 | -0.0204 | 0.4716 | 0.5043 |
| WESAD | none | cnn1d_har | 0.5315 ± 0.0434 | — | 0.4809 | 0.5074 |
| WESAD | oversample | cnn1d_har | 0.5283 ± 0.0440 | -0.0032 | 0.4861 | 0.5123 |
| WESAD | scaling | cnn1d_har | 0.5268 ± 0.0426 | -0.0047 | 0.4845 | 0.5129 |
| WESAD | smote | cnn1d_har | 0.5289 ± 0.0489 | -0.0026 | 0.4846 | 0.5127 |
| WISDM | dtw | cnn1d_har | 0.7395 ± 0.1259 | -0.0054 | 0.6761 | 0.7346 |
| WISDM | label_shuffle | cnn1d_har | 0.7093 ± 0.1300 | -0.0356 | 0.5665 | 0.5841 |
| WISDM | mixup | cnn1d_har | 0.7477 ± 0.1195 | +0.0028 | 0.6806 | 0.7368 |
| WISDM | none | cnn1d_har | 0.7449 ± 0.1181 | — | 0.6747 | 0.7288 |
| WISDM | oversample | cnn1d_har | 0.7404 ± 0.1220 | -0.0045 | 0.6708 | 0.7282 |
| WISDM | scaling | cnn1d_har | 0.7469 ± 0.1267 | +0.0020 | 0.6745 | 0.7295 |
| WISDM | smote | cnn1d_har | 0.7492 ± 0.1345 | +0.0043 | 0.6839 | 0.7349 |
| Wafer | dtw | cnn1d | 0.9979 ± 0.0011 | +0.0021 | 0.9945 | 0.9909 |
| Wafer | dtw | minirocket | 0.9987 ± 0.0002 | +0.0003 | 0.9966 | 0.9962 |
| Wafer | jitter | cnn1d | 0.9951 ± 0.0009 | -0.0007 | 0.9869 | 0.9772 |
| Wafer | jitter | minirocket | 0.9971 ± 0.0007 | -0.0013 | 0.9926 | 0.9924 |
| Wafer | mixup | cnn1d | 0.9960 ± 0.0012 | +0.0002 | 0.9894 | 0.9817 |
| Wafer | mixup | minirocket | 0.9970 ± 0.0004 | -0.0014 | 0.9922 | 0.9895 |
| Wafer | none | cnn1d | 0.9958 ± 0.0015 | — | 0.9890 | 0.9816 |
| Wafer | none | minirocket | 0.9984 ± 0.0004 | — | 0.9959 | 0.9952 |
| Wafer | oversample | cnn1d | 0.9968 ± 0.0008 | +0.0010 | 0.9916 | 0.9852 |
| Wafer | oversample | minirocket | 0.9985 ± 0.0002 | +0.0001 | 0.9961 | 0.9952 |
| Wafer | scaling | cnn1d | 0.9977 ± 0.0007 | +0.0019 | 0.9939 | 0.9894 |
| Wafer | scaling | minirocket | 0.9982 ± 0.0006 | -0.0002 | 0.9952 | 0.9939 |
| Wafer | smote | cnn1d | 0.9969 ± 0.0008 | +0.0011 | 0.9917 | 0.9855 |
| Wafer | smote | minirocket | 0.9971 ± 0.0007 | -0.0013 | 0.9926 | 0.9922 |
表4: 学習比率 100% の主要結果(全 3420 run のうち完了分から集計)。macro-F1 はクラス不均衡なデータ(例 ECG5000)で精度より低くなる。 bal. acc.(balanced accuracy)はクラスごとの再現率の平均で、少数クラスを多数クラスと対等に扱う指標。
RQ1 の答えにあたるのは次の表5 である。Wilcoxon 検定の結果を示す。各行は拡張手法×モデルで、同一(データセット・seed・学習比率)のペア精度差を none と比較したもの。 p 値は Holm–Bonferroni 補正済み。5 条件が α=0.05 で有意であり、いずれも 1D-CNN であった。 集計対象は Phase 2 の 12 データセットのうち、軸が時間である 9 件(非時系列 3 件は付録タブ。除外前の同じ検定と、判定が入れ替わる境界条件も付録に併記した)。
| 拡張 | モデル | 平均Δ | n | p (補正後) | 有意 |
|---|---|---|---|---|---|
| oversample | cnn1d | +0.0409 | 135 | 0.00655 | ✓ |
| mixup | cnn1d | +0.0483 | 135 | 0.00816 | ✓ |
| dtw | cnn1d | +0.0465 | 135 | 0.0141 | ✓ |
| scaling | cnn1d | +0.0306 | 135 | 0.0302 | ✓ |
| jitter | cnn1d | +0.0355 | 135 | 0.05 | ✓ |
| smote | cnn1d | +0.0335 | 135 | 0.0507 | — |
| smote | minirocket | -0.0027 | 135 | 0.264 | — |
| oversample | minirocket | +0.0040 | 135 | 0.709 | — |
| mixup | minirocket | -0.0006 | 135 | 0.766 | — |
| dtw | minirocket | +0.0005 | 135 | 0.766 | — |
| jitter | minirocket | +0.0014 | 135 | 0.766 | — |
| scaling | minirocket | +0.0015 | 135 | 0.766 | — |
表5: 拡張なしとの Wilcoxon 検定(Holm 補正)。効果量(平均Δ)と有意性は別物として読む。 注: n=180 のペアは入れ子の学習比率を含み厳密には独立でないため、p 値は反保守的な可能性がある(§8)。
6.2 学習曲線
図1 は学習データ使用比率(横軸 10–100%)に対する test 精度(縦軸)。各線が拡張手法。低比率ほど拡張の効き(曲線の広がり)が相対的に大きい傾向は H1 と整合する。
図1: 学習比率に対する精度の学習曲線(データセット×モデル別)。
7. 考察
UCR での結果は、拡張効果がデータセット・モデル依存で一様でないという Iwana & Uchida [8] の報告と整合する(H2 を支持)。 とくに MiniRocket ではどの拡張も有意でなく、生信号への摂動系拡張が変換ベース特徴に新情報を与えにくい可能性を示唆する。 ベースライン精度は既発表のベンチマーク相場 [2][4] と一致し、実装の妥当性を支持する。 被験者数削減については、点推定では一部手法が削減を示すものの negative control と分離できず、H3(実被験者の代替)は本設定では確証されない。
主要な知見(「追試」= 先行研究の傾向確認、「独自」= 本研究で観測)を確度とともに示す。
8. 限界
- UCR データセットのサンプル数は被験者数ではないため、Phase 1–2 の結果から被験者数削減効果を直接主張することはできない
- mixup・DTW 拡張は原論文と実装差がある(詳細は deviations.md)。追試結果の比較はこの差分を前提に解釈する必要がある
- 実行環境は CPU のみであり、1D-CNN のハイパーパラメータ探索は行っていない(拡張条件間の比較は固定条件で公平)
- Phase 1 は 3 seeds であり、統計検定に足る反復数は Phase 2 で確保する
- UCR の既定 train/test 分割 1 通りを 42 条件で再利用しているため、最良条件の選択には多重比較の問題がある(Phase 2 で検定と併せて対処)
- Phase 2 の Wilcoxon 検定は同一データセットの入れ子の学習比率(10–100%)を含むペアを用いており、これらは厳密には独立でない。このため p 値は反保守的(有意を出しやすい)方向に偏る可能性があり、効果量(平均Δ)と併せて解釈する必要がある
- GunPoint は精度 0.99–1.00 の天井効果があり、改善余地がテスト 1–2 サンプル分しかない。GunPoint での「改善」の解釈には特に注意が必要
- 拡張強度(ratio=1.0、sigma、alpha、k、window)は各手法 1 点固定であり、「手法の効果」と「強度選択の効果」が交絡している
- Phase 1 の manifest の git_dirty=true は、実験中に生成される run 成果物(未追跡ファイル)を含んで判定していたことによる。ソースコードは push 済みコミットと一致している。以後の run では未追跡ファイルを無視して判定する
- Phase 5 の被験者数削減(N*)は反復 3 回のため bootstrap 信頼区間が広く、拡張手法の CI は none の CI と重なる。点推定では DTW 等が数%の削減を示すが統計的に確定できない。反復数を増やす(例: 各被験者数で 10 回以上)ことが確度向上に必要
- 被験者数学習曲線は UCI HAR・WISDM v1.1・PAMAP2 の 3 データセットで確認済み。ただし再現できたのは「削減を確定できない(帰無)」の一点のみで、最良手法の順位は データセット間で入れ替わる(UCI HAR は DTW 最良/SMOTE 有害寄り、WISDM は SMOTE 最良/DTW≈0)。3 データ=3 点のため回帰・相関は求めず、母集団被験者数(5〜24名)に沿う削減率の系統トレンドは検出されない(記述的主張に限定)。さらに別ドメインへの一般化は未検証
- WISDM への追試は同一枠組みの厳密再現ではなく、前処理を各データセットに合わせた追試である(UCI HAR は配布元整形済みの非正規化、WISDM は生値のため窓ごと z 正規化。J-WISDM-NORM)。scaling/jitter は正規化後と生データで作用が異なるため、両データの結果差には前処理の非対称も寄与しうる
- WISDM はクラス不均衡で accuracy が多数クラスに偏る。WISDM で smote が示す点推定の削減(accuracy@0.80 で +10.5%)は accuracy 固有であり、macro-F1 では手法順位が変わる: macro_f1@0.70(N*(none)=11.85)では smote のみ +4.1%・scaling -5.2%・dtw -11.0%(最下位)、macro_f1@0.65(N*(none)=9.98)でも smote +0.8%/dtw -2.6%/scaling -3.7% と、いずれも none の CI と大きく重なる。すなわち WISDM の削減は macro-F1 でも確認されない(accuracy 基準の帰無と整合)。不均衡データでは accuracy と macro-F1 / balanced accuracy を併記して解釈する必要がある
- WISDM の none 学習曲線は被験者数に対して非単調(中盤で最大に達し以降やや低下)で、目標 0.80 の交差は 12→15 名の単一の上向き交差に依存する。N* は隣接点の線形補間(J-NSTAR)で定めるため、この非単調性は N* 不確実性の一因である。また 0.80 は none 曲線のプラトー肩付近にあたり手法差が圧縮されやすい
- 目標精度 0.90(UCI HAR)/ 0.80(WISDM)は各データで比較的到達しやすい水準であり、より難しいタスク・目標では削減効果の様相が変わりうる
- 対照 label_shuffle は「クラス信号ゼロの床」ではなく、正しいラベルの元データを保持し複製分にだけ乱ラベルを与える「元データ保持+ラベルノイズ」の悲観的・有害寄りの対照である。純粋な「量の水増し」の基準はむしろ oversample(単純複製)で、UCI HAR では -4.8%・WISDM では ≈0 と、量を増やすだけでは N* は下がらない。UCI HAR では label_shuffle でさえ約 4.3% の見かけの削減を示し、mixup(4.1%)・scaling(3.9%)と同等——この水準以下の削減はアーティファクトと区別できない。DTW(10.8%)のみが対照を上回るが CI は重なり確定できない(F-10)。対照 1 本(label_shuffle)に加え、純ノイズ拡張・時間シャッフル等の対照拡充が今後の課題(issue #7 候補)
- PAMAP2(issue #21 DS-2)は被験者 9 名・subject 109 除外で pool 5 と少 N であり、N∈{2,3,4,5} の粗い格子では削減率を推定できない。none の macro-F1 が最小格子 N=2 で既に統一 target 0.70 を超え(N2=0.706)、N*(none) が格子下限に張り付く左側打ち切りのため、削減率は事前登録の停止条件どおり算出せず定性記述に格下げした。これは捏造回避であり、少 N・高 baseline という構造的限界に起因する(反復5回でも CI は広い)
- 横断図・横断表(§6.5)は3データの比較可能性のため統一 target ルール(floor_0.05(full-pool none 平均 −0.05))を用いるが、これは PAMAP2 では事前登録どおりである一方、データ確定済みの UCI HAR・WISDM にとっては事後(post-hoc)の記述的再解析である。統一 target(macro-F1 で UCI HAR 0.85・WISDM 0.70)は各データの事前登録主 target(UCI HAR accuracy 0.90・WISDM accuracy 0.80)と異なる。主結論 F-8/F-10/F-12 は各データの事前登録 τ に基づき不変で、横断の統一ルール版は別レンズ(結論の帰無は主解析と一致するため補強方向)。統一ルールは baseline が高く pool 上限が低いデータ(PAMAP2・UCI HAR)で N* を格子下限近傍に寄せ削減率を格子分解能で圧縮する点も交絡である
- PAMAP2 は 12 活動 protocol サブセットを対象とするが、希少活動 rope_jumping は固定 test 側(103/104/105)で 0 窓のため実効 11 クラスであり、macro-F1 の分母(クラス平均)に影響する。3 データはクラス数(12/6/6)・センサ(3IMU/加速度+ジャイロ/加速度)・チャネル数(9/6/3)・サンプリングと窓実時間・pool 上限が異なり、これらの交絡により削減率差を母集団サイズに帰属することはできない
- WESAD(issue #21 DS-3, 非HAR 生理信号)では HAR 前処理・モデルが転移せず、full-pool・拡張なし baseline が near-chance(macro-F1 0.4835・accuracy 0.5053 で多数派クラス率 ~0.54 を下回る)。none 曲線は N=2..10 でほぼ平坦、negative control label_shuffle も none と同水準で、モデルがクラス構造を学習していない。よって全手法が最小格子 N=2 で左側打ち切りとなり削減率は推定不能で、WESAD では拡張の被験者削減効果を評価できない(前提となるタスク学習が成立しない)。候補要因として HAR 由来の窓ごと z 正規化が EDA / 体温の絶対レベル(生理信号の主情報)を各窓内で消すことが挙げられる(J-WESAD-NORM / D-WESAD)。ただし HAR 3データとの比較可能性のため前処理・モデルは固定し変更していない(post-hoc 変更なし)。DS-3 で言えるのは削減の有無ではなく枠組みの非転移=信号種依存であり、前処理・モデルを生理信号向けに変えた検証は今後の課題(#23)。WESAD は非商用+帰属ライセンス(CC BY ではない)で生データは非コミット
- 削減率が測定できるのは baseline が十分高く N* が被験者格子内に落ちるデータに限られる(§6.7 統合)。本研究の4データのうち削減が測定可能だったのは UCI HAR・WISDM の2つのみで、PAMAP2 は少 N・高 baseline による左側打ち切り、WESAD は near-chance でいずれも推定不能だった——「削減できたデータは無い」は帰無(測定できたが対照を超えない)と推定不能(そもそも測れない)の両方を含み、両者を区別して読む必要がある。したがって「拡張で削減できない」という帰結は、削減が測定可能な高 baseline・十分 N の条件で確認したものに限られ、測定不能条件へは外挿しない。マルチモーダル(チャネル横断)拡張は「多モーダル×削減測定可能」な基盤(PAMAP2 は打ち切り・WESAD は near-chance・UCI HAR/WISDM は単一モダリティ寄りでいずれも非該当)を欠くため本研究では対象外とした(ds5_assessment.md / issue #27。将来の発火条件=多モーダルで N* 推定可能かつ label_shuffle≪none)
9. まとめ
時系列データ拡張の効果は手法・モデル・データに強く依存する。1D-CNN では複数手法が精度を有意に改善するが MiniRocket では改善せず、 被験者数削減に至っては対照と区別できるレベルの効果は本設定では得られなかった。この「削減を確定できない(帰無)」という結論は 第2の被験者データ WISDM v1.1 [13] でも再現され、単一データセット固有でないことを確認した(ただし前処理を各データセットに合わせた追試であり、 再現したのは帰無であって最良手法の順位ではない。順位は評価指標にも依存する。§6.4)。信号種を変えた WESAD(生理信号)では baseline が near-chance で削減の前提すら成立せず、HAR 向け枠組みが転移しない(信号種依存。§6.6)。4データを統合すると、削減は測定可能なら帰無・それ以外は推定不能で、対照を明確に超えて実被験者を削減できたデータは無い(§6.7)。以上は、削減を主張する際に 「対照越え」と反復数の確保が不可欠であることを示す。今後は反復数を増やした検出力設計、macro-F1 / balanced accuracy を含む指標横断の評価、 拡張強度と手法効果の分離、および第3の被験者データや別ドメインへの拡張が課題である。
参考文献
- [1]H. A. Dau, A. Bagnall, K. Kamgar, C.-C. M. Yeh, Y. Zhu, S. Gharghabi, C. A. Ratanamahatana, and E. Keogh, "The UCR Time Series Archive," IEEE/CAA Journal of Automatica Sinica, vol. 6, no. 6, pp. 1293–1305, 2019. https://www.cs.ucr.edu/~eamonn/time_series_data_2018/
- [2]A. Bagnall, J. Lines, A. Bostrom, J. Large, and E. Keogh, "The great time series classification bake off: a review and experimental evaluation of recent algorithmic advances," Data Mining and Knowledge Discovery, vol. 31, no. 3, pp. 606–660, 2017.
- [3]A. Dempster, F. Petitjean, and G. I. Webb, "ROCKET: exceptionally fast and accurate time series classification using random convolutional kernels," Data Mining and Knowledge Discovery, vol. 34, pp. 1454–1495, 2020.
- [4]A. Dempster, D. F. Schmidt, and G. I. Webb, "MiniRocket: A Very Fast (Almost) Deterministic Transform for Time Series Classification," in Proc. 27th ACM SIGKDD Conference on Knowledge Discovery & Data Mining (KDD), 2021, pp. 248–257.
- [5]N. V. Chawla, K. W. Bowyer, L. O. Hall, and W. P. Kegelmeyer, "SMOTE: Synthetic Minority Over-sampling Technique," Journal of Artificial Intelligence Research, vol. 16, pp. 321–357, 2002.
- [6]H. Zhang, M. Cissé, Y. N. Dauphin, and D. Lopez-Paz, "mixup: Beyond Empirical Risk Minimization," in Proc. International Conference on Learning Representations (ICLR), 2018.
- [7]T. T. Um, F. M. J. Pfister, D. Pichler, S. Endo, M. Lang, S. Hirche, U. Fietzek, and D. Kulić, "Data Augmentation of Wearable Sensor Data for Parkinson's Disease Monitoring using Convolutional Neural Networks," in Proc. 19th ACM International Conference on Multimodal Interaction (ICMI), 2017, pp. 216–220.
- [8]B. K. Iwana and S. Uchida, "An empirical survey of data augmentation for time series classification with neural networks," PLOS ONE, vol. 16, no. 7, e0254841, 2021.
- [9]G. Forestier, F. Petitjean, H. A. Dau, G. I. Webb, and E. Keogh, "Generating synthetic time series to augment sparse datasets," in Proc. IEEE International Conference on Data Mining (ICDM), 2017, pp. 865–870.
- [10]H. Ismail Fawaz, G. Forestier, J. Weber, L. Idoumghar, and P.-A. Muller, "Deep learning for time series classification: a review," Data Mining and Knowledge Discovery, vol. 33, no. 4, pp. 917–963, 2019.
- [11]M. Middlehurst, A. Ishaq, P. Schäfer et al., "aeon: a Python toolkit for learning from time series," Journal of Machine Learning Research, vol. 25, no. 289, pp. 1–10, 2024. https://www.aeon-toolkit.org/
- [12]D. Anguita, A. Ghio, L. Oneto, X. Parra, and J. L. Reyes-Ortiz, "A Public Domain Dataset for Human Activity Recognition Using Smartphones," in Proc. 21st European Symposium on Artificial Neural Networks, Computational Intelligence and Machine Learning (ESANN), Bruges, Belgium, 2013, pp. 437–442. https://archive.ics.uci.edu/dataset/240/human+activity+recognition+using+smartphones
- [13]J. R. Kwapisz, G. M. Weiss, and S. A. Moore, "Activity Recognition using Cell Phone Accelerometers," ACM SIGKDD Explorations Newsletter, vol. 12, no. 2, pp. 74–82, 2011. https://www.cis.fordham.edu/wisdm/dataset.php
- [14]A. Reiss and D. Stricker, "Introducing a New Benchmarked Dataset for Activity Monitoring," in Proc. 16th Int. Symp. on Wearable Computers (ISWC), Newcastle, UK, 2012, pp. 108–109. Dataset: PAMAP2 Physical Activity Monitoring, UCI Machine Learning Repository, DOI:10.24432/C5NW2H (License: CC BY 4.0). https://archive.ics.uci.edu/dataset/231/pamap2+physical+activity+monitoring
- [15]P. Wagner, N. Strodthoff, R.-D. Bousseljot, D. Kreiseler, F. I. Lunze, W. Samek, and T. Schaeffter, "PTB-XL, a large publicly available electrocardiography dataset," Scientific Data, vol. 7, no. 154, 2020. https://physionet.org/content/ptb-xl/1.0.1/
- [16]P. Schmidt, A. Reiss, R. Duerichen, C. Marberger, and K. Van Laerhoven, "Introducing WESAD, a Multimodal Dataset for Wearable Stress and Affect Detection," in Proc. 20th ACM International Conference on Multimodal Interaction (ICMI), 2018, pp. 400–408. Dataset: WESAD (Wearable Stress and Affect Detection), DOI:10.1145/3242969.3242985 (License: scientific/non-commercial use with attribution; not CC BY). https://ubi29.informatik.uni-siegen.de/usi/data_wesad.html
本レポートは実験結果ファイル(runs/・artifacts/)から自動生成され、数値の手入力は行わない。