NexmonによるCSIベースのスマートデバイス状態推定

現在のスマートデバイスは，利用者自身でも動作状態の把握が難しく，不正な通信や動作が行われている場合に気づく術がない．そこで，スマートデバイスの状態(アプリケーションの動作状況，操作内容など)を推定するシステムの実現を目指している．従来の研究では，スマートデバイスの状態推定手法として様々なアプローチが検討されているが，汎用性や導入コストの面で懸念が残る．本研究では，Wi-Fi 電波の通信媒体波及時におけるチャネル状態情報(Channel State Information; CSI)を，CSI収集用ファームウェアパッチである Nexmon を用いて収集・分析し，スマートデバイス状態推定を行う手法を提案する．基礎評価として，6種類のアプリケーションに対して 8種類の時系列モデルでの試行の結果，最大 87.6%の精度でアプリケーション推定が可能なことを確認した．また，分類アプリケーションの組み合わせによる精度変化を検証し，最大 100%で推定できることを明らかにした．

Current smart devices make it difficult for users to understand their operational status, making it challenging to detect unauthorized communications or actions. Therefore, we aim to develop a system that estimates the state of smart devices, including application behavior and user operations. Although various approaches have been explored in previous research for estimating the state of smart devices, concerns remain regarding their generalizability and implementation costs. In this study, we propose a method for smart device state estimation using Channel State Information (CSI) during Wi-Fi signal propagation, collected and analyzed with Nexmon, a firmware patch for CSI collection. As a preliminary evaluation, we tested eight different time-series models on six types of applications and confirmed that application estimation is possible with an accuracy of up to 87.6%. Additionally, we examined the changes in accuracy depending on the combination of classified applications, and found that estimation was possible with up to 100% accuracy.

Transcript

1. 1 T2-B-7-02 静岡大学情報学部情報科学科 原田海斗 静岡大学大学院総合科学技術研究科情報学専攻 寺本京祐 静岡大学学術院情報学領域 野村裕一郎 静岡大学グリーン科学技術研究所フィールドインフォマティクス研究コア 峰野博史 NexmonによるCSIベースの スマートデバイス状態推定
2. 2 T2-B-7-02 1. 研究背景 ◦スマートデバイスの普及 ― 多機能IoTデバイス (例:スマートフォン, パソコン, スマート家電, など) ➢ 2025年には約440億台に達すると予測 サイバー攻撃による不正操作や情報漏洩の危険性 ユーザー自身でも動作状況の把握は困難 ◦スマートデバイス状態推定システムの開発 ― スマートデバイス状態 (例:起動状況, 正常/異常, 動作アプリケーション, など) ― 状態推定システムをサイバー攻撃を未然に防ぐ技術に活用 ➢ 動作状況の推定，不正操作の検出，動作アプリケーションの管理 先行研究では，情報量・汎用性・導入コストで課題が残る ON OFF
3. 3 T2-B-7-02 2. 先行研究 ◦通信トラヒックによるスマートデバイス状態推定[1] ― 通信トラヒック ➢ 一定時間にネットワークを流れるデータ量 ― スマートデバイス状態定義 ➢ 実行したスマートデバイスの機種・機能 ― 16種類の機種と機能に対して分類精度88% ◦状態遷移モデルとIoTセンサによるスマートデバイス状態推定[2] ― スマートデバイス状態定義 ➢ スマートデバイスの正常/不正な操作 ― 不正操作:誤検出率20.1%未満，検出率72.3%を確認 状態遷移モデルは汎用性が低く，IoTセンサは導入コストが高い [1] 服部祐一, 荒川豊, 井上創造. 通信トラヒック分析による複数のiotデバイスにおける機能推定手法の評価. マルチメディア，分散，協調とモバイルシンポジウム 2022 論文集, Vol. 2022, pp. 655–661, 2022. [2] 田中雅弘, 山内雅明, 大下裕一, 村田正幸, 上田健介, 加藤嘉明. 家庭活動の状況推定を用いたスマートホームネットワークの異常検出手法. IEICE Technical Report; 信学技報, Vol. 119, No. 461, pp. 219–224, 2020. 通信トラヒックは情報量が少ないため状態推定には不向き Wi-Fiルーター スマートデバイス 通信トラヒック 状態遷移モデル
4. 4 T2-B-7-02 3. 提案手法 ◦CSIベースのスマートデバイス状態推定手法 ― CSI(Channel State Information:チャネル状態情報) ➢ 電波散乱，フェージングなどを考慮したWi-Fi電波通信路の状態 ➢ Wi-Fi電波の振幅と位相情報が取得可能 ✓ 通信トラヒックに比べて詳細な情報を含んでいる 信機 信機 波 波 ― Nexmon ➢ CSI収集用のオープンソースファームウェアパッチ ✓ 本来，CSIの収集が不可能なデバイスでも収集可能に ✓ 監視する通信を指定するだけで収集可能 先行研究の課題を解消したスマートデバイス状態推定が可能 CSIの収集は，ハード/ソフトウェアの制限が強い
5. 5 T2-B-7-02 4. 基礎評価 ◦CSIデータの収集環境 ― 各種デバイス情報 ➢ CSI収集デバイス:RaspberryPi4B ➢ Wi-Fi 信機:WSR-1800AX4P-WH ➢ Wi-Fi 信機:iPhone12 ― スマートデバイス状態定義 ➢ 動作アプリケーション ✓ TikTok, YouTube, LINE, パズル&ドラゴンズ(Puzzle), コミックシーモア(Comic), 雀魂(Mahjong) TikTok YouTube Puzzle LINE Comic Mahjong 6種類の動作アプリケーション推定に対する有効性を検証
6. 6 T2-B-7-02 4. 基礎評価 ◦時系列モデルの選定 ― 8種類の時系列モデルで精度比較 ➢ RandomForest, TCN , 1D-CNN, LSTM-FCN, Transformer, 1D-ResNet, 1D-DenseNet, LSTM ― 評価指標はAccuracy[%]を使用 ➢ 目的変数に極端な偏りはない ➢ 入力時点数は，200~450[Packet]の50間隔で変化 最良結果として，時系列モデル:TCN，入力時点数:350でAccuracy:87.6[%] 入力時点数 時系列モデル RandomForest TCN 1D-CNN LSTM-FCN Transformer 1D-ResNet 1D-DenseNet LSTM 200 67.9 65.9 66.7 63.4 56.7 72.1 57.5 36.7 250 64.0 72.3 70.9 62.3 60.9 67.4 75.4 51.6 300 63.5 84.0 70.2 68.4 59.7 71.1 76.5 41.2 350 60.8 87.6 71.1 68.5 61.6 63.9 73.9 40.9 400 57.1 71.7 72.0 63.1 61.8 68.6 72.1 47.1 450 58.5 60.4 76.0 68.0 62.4 66.3 80.9 39.3 CPU Intel Corei9-13900KF GPU GeForce RTX-3090 OS Ubuntu 22.04.2 LTS Software Python3.9, tensorflow2.12, CUDA11.8
7. 7 T2-B-7-02 4. 基礎評価 ◦最良結果に対する考察 ― 誤分類しやすいアプリケーションに注目 CPU Intel Corei9-13900KF GPU GeForce RTX-3090 OS Ubuntu 22.04.2 LTS Software Python3.9, tensorflow2.12, CUDA11.8 86.3% 0% 0% 13.7% 0% 0% 0% 80.4% 0% 9.4% 0% 10.2% 0% 0% 100% 0% 0% 0% 0% 0% 0% 78.9% 21.1% 0% 18.3% 0% 6.3% 0% 75.4% 0% 0% 0% 0% 0% 0% 100% True Predicted TikTok LINE Puzzle Mahjong YouTube Comic TikTok LINE Puzzle Mahjong YouTube Comic 操作方法や内部特性が分類難易度に起因している可能性 ➢ MahjongとYouTube ✓ 共通点:操作方法が横持ち，クリック操作 ➢ YouTubeとTikTok ✓ 共通点:ストリーミング, バッファリング処理 ― その他要因 ➢ 通信トラヒック，トランザクション ➢ アプリケーションの種類・バージョン
8. 8 T2-B-7-02 94.4 71.9 90.7 89.1 94.1 89.8 66.5 66.4 91.8 90.3 95.4 100.0 4. 基礎評価 ◦分類アプリケーションによる精度比較 ― 12通りの組み合わせで試行 ➢ 分類数減少により精度低下する ✓ 感に している CPU Intel Corei9-13900KF GPU GeForce RTX-3090 OS Ubuntu 22.04.2 LTS Software Python3.9, tensorflow2.12, CUDA11.8 ― 考察 ➢ 共通点:YouTubeを含まない ✓ 他アプリケーションとの類似度が高い ✓ ラベル平滑化処理がノイズとして 悪作用した可能性 TikTok LINE Puzzle Mahjong YouTube Comic Acc.[%] YouTube LINE Comic Mahjong YouTube LINE Comic Mahjong < 類似度の低い組み合わせに対してラベル平滑化は逆効果な可能性 含む 含まない
9. 9 T2-B-7-02 5. まとめ 背景 提案 今後 スマートデバイス状態推定システムの必要性 ― 利用者自身でも動作状況の把握が困難 ― スマートデバイス状態推定の関連研究 ➢ 通信トラヒックベース → 情報量不足 ➢ 状態遷移モデルベース → 汎用性が低い，導入コストが高い CSIベースのスマートデバイス状態推定手法 ― 詳細な状態推定が可能，汎用性が高く，導入コストが低い ― 6種類のアプリケーションに対する分類を実施 ➢ 8種類の時系列モデルでの試行により最大精度87.6%を確認 ➢ 入力時点数やアプリケーションの組み合わせによる検証 スマートデバイス状態推定システムの実現に向けて ― CSIの特徴量に影響を与える要因の分析 ➢ 通信トラヒックやトランザクションによる差異 ➢ アプリケーションやバージョンによる差異 ➢ 機種や操作方法・位置・環境による差異 ― 複数人に対する有効性の検証