內部異常行為偵測儀表板
以 CERT r4.2 內部威脅資料集，從員工多個行為維度（登入登出／上網／裝置插拔／檔案複製／Email）建構異常分析儀表板，並結合機器學習每日預測高風險員工，及早預防內部資安事件。
背景文獻
三篇文獻串起本專案的出發點：先用行為找出異常，再補上「人」的因素做事前預防，並釐清所用資料集能證明什麼、不能證明什麼。
文獻 1｜行為偵測
Kamatchi, K. & Uma, E. (2025). Insights into user behavioral-based insider threat detection: systematic review. International Journal of Information Security, 24:88. DOI
- 為什麼要看「行為」？ 內部人員擁有合法權限，傳統特徵碼（signature-based）資安設備認不出「合法權限下的惡意操作」，因此以使用者行為為基礎的內部威脅偵測（UBITD）是企業的第一道防線。
- 做法：建立員工正常行為的基準線（baseline），持續監控存取模式、系統操作與網路瀏覽習慣，即時捕捉偏差行為與潛在的內部惡意操作。
- UBITD 監控的 8 大類日誌：系統登入與存取、檔案與資料操作、抽取式裝置（USB）、網路與網頁瀏覽、電子郵件、鍵盤滑鼠動態、系統指令列、情緒與心理傾向（如 Big Five 人格量表）。
- 成效：在 CERT 等基準資料集上，結合 LSTM、SVM、ResHybnet 等模型，異常行為偵測召回率（Recall）可達 90%～99%。
- 本專案涵蓋其中 6 類：登入登出、檔案、USB、上網、Email、心理測驗（OCEAN）。
文獻 2｜行為偵測的局限
Papatsaroucha, D., Psaroudaki, S., Vassilaki, E., et al. (2026). Human Vulnerability Assessment in Cybersecurity: A Systematic Literature Review of Methods, Models, and Instruments. arXiv:2605.22119. PDF
僅依賴行為偵測有其局限與挑戰：
- 屬於「風險顯現時」偵測，而非「事前預防」
- 無法洞察根本原因
因此要達到真正的「事前預防」，不能只靠事後的行為異常監控，還需結合員工的心理特徵、認知狀態與情境脈絡，進行全面的人類脆弱性評估（Human Vulnerability Assessment, HVA）。
所以本專案的資料集不只看「行為」，也要有「人」的資料——這正是下方 CERT r4.2 能提供的。
文獻 3｜資料集怎麼「造」出來的
Glasser, J. & Lindauer, B. (2013). Bridging the Gap: A Pragmatic Approach to Generating Insider Threat Data. IEEE Security and Privacy Workshops. DOI｜PDF
CERT 資料集的原始論文，由 CMU SEI 與 ExactData 在美國 DARPA ADAMS 計畫下產出。因真實企業日誌牽涉法律、隱私與商業機密，改以模擬器生成 500 天、整間公司的電腦紀錄。
- 心理測驗模型：每位員工一開始就被指定固定的人格特質，外加一個會隨事件變動的「工作滿意度」。人格與滿意度如何影響行為，參考兩篇組織心理學研究：
- Mount, Ilies & Johnson (2006)：人格特質透過「工作滿意度」影響反生產工作行為（Personnel Psychology, 59, 591–622）
- Cullen 等 (2011)：五大人格與網路上的反生產行為（SIOP 研討會海報）
- 劇本範例：部門裁員 → 同事從 LDAP 消失 → 當事人工作滿意度下降 → 上下班變得不準時（logon/logoff）→ 把文件上傳到 Dropbox（HTTP）
- 作者自己點出的限制：
- 適合「驗證」，不適合「發現」：可驗證「系統能抓到 USB 用量前 0.1% 的人」；不能證明「USB 用量大的人比較可能是內鬼」，因為那是設計者的假設
- 參數多半是設計者自訂的：無法用來證實「正常人與惡意人員的行為差異」理論
- 資料比真實世界乾淨：真實日誌的雜訊與缺漏遠比模擬資料多
資料集裡「人格／工作滿意度 → 行為 → 惡意事件」的因果鏈，正是依 HVA 類型的心理學研究設計，所以拿它來測試「加入人的資料能否提早預警」這個做法，方向是對的；但模型若發現 OCEAN 有預測力，只能說明「系統能抓到資料設計者埋下的關聯」，不能宣稱「人格真的能預測犯罪」。
資料集
- CERT Insider Threat Dataset r4.2（Kaggle）：CMU CERT 製作的合成資料，因真實企業員工 log 過於敏感無法公開，故以模擬方式產生。
- 內容：虛構公司 1,000 名員工、約 17 個月（2009/12～2011/05）的數位足跡——登入登出、隨身碟插拔、上網、寄信、檔案複製，加上每人心理測驗分數與每月組織名冊（LDAP）。
- 標籤：內含 70 名內鬼、3 種情境——洩密（下班後插 USB、上傳 wikileaks 後離職，30 人）、跳槽（逛求職網站，離職前用 USB 帶走資料，30 人）、報復（不滿的系統管理員裝側錄程式、盜用主管帳號寄恐慌信，10 人），正確答案存於
answers/insiders.csv。
- OCEAN 五大人格量表：O 開放性／C 盡責性／E 外向性／A 親和性／N 神經質，每項 10～50 分，分數越高傾向越強（如 N 高代表情緒較不穩定）。
我們想用這份資料集做到兩件事
- 日常行為偵測：以登入、USB、上網、Email、檔案複製等行為 log，建立員工基準線並偵測偏離（第一部分儀表板）。
- 事前預防機制：加入機器學習模型，結合行為與人格特徵預測高風險員工（第二部分）。
模擬資料集中包含 OCEAN 五大人格量表（psychometric.csv），可作為「人類脆弱性」的心理特徵一併納入模型訓練。
限制：r4.2 是合成資料，OCEAN 分數與惡意行為的關聯是資料設計出來的（依 Mount 等 2006、Cullen 等 2011 的心理學研究設定，見文獻 3），不能直接等同真實公司。依資料作者的建議，本專案屬於「驗證型」用途：驗證的是「做法可行」，不是「預測效果可直接搬到現實」。
專案架構
本專案分為兩部分：第一部分做「看得見異常」的儀表板，第二部分用 ML 做「預測誰有風險」，最後把預測結果接回儀表板。
CERT r4.2 原始 CSV
│
├─▶【第一部分】SQL Server ETL ─▶ Power BI 星狀模型＋DAX ──────────▶ 異常分析儀表板
│ ▲
└─▶【第二部分】Python 人×天寬表 ─▶ Random Forest＋SHAP ─▶ 每日 Top10＋風險原因（CSV）
| 項目 | 第一部分：員工異常行為儀表板 | 第二部分：監督式機器學習事前預警 |
|---|
| 目的 | 多行為維度建立每人基準線，看見異常 | 每天排出高風險員工 Top10，比「提早幾天」 |
| 資料清理 | SQL Server ETL，產出事實表、維度表、員工離職狀態表 | Python（DuckDB）彙整「人 × 天」寬表、66 個特徵 |
| 建模 | Power BI 星狀模型與 DAX 量值 | Random Forest／XGBoost／Logistic Regression，逐月滾動訓練 |
| 呈現 | 三層鑽研儀表板 | 風險分數與 SHAP 原因寫回 Power BI 主儀表板 |
| 狀態 | ✅ 完成 | ✅ 完成 |
作品展示頁：index.html（目的、架構、方法、Demo 影片）｜版本控管：GitHub
第一部分：企業內員工異常行為儀表板
資料處理流程
- 將 CSV 匯入 SQL Server，整理事實表與維度表
- 因資料量龐大，先取 2010/7/20～2010/8/20 作為圖表展示區間
- 整理成 View 表：logon／email／http／file／device／psychometric／date、員工離職表，以及各自的彙總表（SQL 見 dataclean(sql)/）
- 員工離職狀態處理：比對每月 LDAP 名冊推算在職／預計離職（邏輯見 ldap-leave-status-logic.md）
- 匯入 Power BI 建立星狀模型與量值
儀表板設計邏輯（由大到小鑽研）
| 層級 | 頁面 | 看什麼 |
|---|
| 全體員工 | 主儀表板 | 當日 Top10 高風險員工、總異常數、異常員工分佈部門；全員登入趨勢散佈圖找離群值、異常檔案複製列表 |
| 單一員工 | 員工總覽頁 | 該員工各行為異常數量、在職／預計離職狀態（由主頁鑽研進入） |
| 單一員工 × 單一行為 | Logon/off | 登入登出明細、時間分布，與過去平均比較 |
| HTTP Domain | 上網網域明細、時間與次數分布、不重複網域數 vs 平均值 |
| Email | 寄信明細、一日寄信時間分布、外部收件人佔比、單信平均附件大小 |
| File Copy | 異常複製明細；比對 file_header 與實際檔名，不符者視為疑似竄改 |
核心判斷：時間區間內的當日狀態 vs 歷史平均值，偏離越大越可疑。
主儀表板的 Top10 與「高風險原因」來自第二部分的模型預測。
第二部分：監督式機器學習事前預警
在「看見異常」之外，用機器學習每天替所有員工打風險分數，排出 Top10；評估標準不是準確率，而是比第一次犯案早幾天。完整文獻研討、方法與各表見 MachineLearning/MLreadme.md、method.md。
三個設計重點
| 前人做法 | 本專題 |
|---|
| 以週／月彙總，異常容易被平均掉 | 改用「人 × 天」，並加入「與自己過去 7／30 天比」的偏離量 |
| OCEAN 人格當靜態特徵 | 再加 LDAP 組織變動（同部門離職人數）當動態情境，比較各自的貢獻 |
| 比精確率、召回率 | 每天只查前 10 名，在這個限制下比提早天數 |
流程
| 步驟 | 做什麼 | 結果 | 程式 |
|---|
| ① 每日彙總 | 原始紀錄 → 每人每天一筆 | 33 萬人天 | 01_aggregate_daily.py |
| ② 建立特徵 | 今日行為、自身偏離、組織、人格、人格 × 狀態 | 66 個特徵；排除「距離職天數」等會洩漏未來的欄位 | 02_build_features.py |
| ③ 建立標籤 | 犯案前幾天標為高風險 | 7／14／30 天三版 | 03_labels.py |
| ④ 訓練與評估 | 4 組特徵 × 3 種模型 × 3 版標籤，逐月滾動 | 36 組實驗 | 04_train_eval.py |
| ⑤ 解釋與匯出 | SHAP 算每人前三大原因，匯出給 Power BI | risk_daily.csv、top10_daily.csv | 05_explain_export.py |
驗證方式：2010/8 起每月只用「該月以前」的資料訓練，替該月每天排 Top10（模擬真的上線）；評估 45 名模型沒看過的內鬼；提早天數用 Wilcoxon、抓到人數用 McNemar 檢定（p < 0.05）。
結果
| # | 假設 | 結果 |
|---|
| H1 | 「人 × 天」＋與自己過去比，能在犯案前預警 | ✅ 成立：45 人全數進入 Top10，38 人在犯案前，中位數提早 5 天（p < 0.001） |
| H2 | 加入人格＋組織變動，能比只用行為更早 | ❌ 不成立：加入後提早 3～4 天，沒有比只用行為（5 天）早（p ≥ 0.05） |
| H3 | 換不同模型、或改變「犯案前幾天算高風險」，效果會不同 | ⚠️ 部分成立：RF 顯著勝 LR（抓到 45 vs 28 人），與 XGBoost 相當；7／14／30 天沒有差異 |
結論：主模型採 只用行為特徵 × Random Forest，PR-AUC 0.391（亂猜 0.007，約 53 倍）。人格資訊和行為重疊，加入只增加複雜度。
限制：r4.2 為模擬資料，只能說明「這套做法能讓警報提早」，不能推論人格在真實企業有用；評估僅 45 人，小差異不易達到顯著。另外 ITAdmin 只佔員工 3.5%，卻佔 Top10 的 36.8%（工作上常態使用多台電腦、USB），是主要誤報來源。
後續延伸
- 降低誤報：加入「跟同職務比」的偏離量；連續 2 天進榜才發警報
- 自動化上線：Python 每天凌晨排程打分 → 寫入 CSV／資料庫 → Power BI 排程重新整理；每月重訓一次
- 其他粒度與方法：session 粒度、Isolation Forest（不需標籤）當對照組
專案貢獻
本專案的貢獻不在模型的預測數值，而在建立一套可移植的內部威脅分析框架，包含：
- 資料整合流程：將多來源日誌整理成「每人每日」行為特徵表
- 以人為單位的評估方法：依時間切分訓練與測試資料，並以「風險前 N 名中命中幾人」衡量成效，貼近資安人員的實際調查量能
企業可將自身日誌套入同一框架重新訓練，並以相同標準檢驗成效。
此框架的邏輯——建立個人基準線、偵測偏離、以人為單位評估成效——也可延伸至其他異常分析領域，例如金融交易盜刷偵測、醫療保險詐領、電商帳號盜用等。
未來應用
- 跨產業複用：「從大維度到小維度」的儀表板邏輯，可套用到製造業異常檢測、流程異常分析，加速每日排查。
- 提早預警：以歷史資料建模，讓系統與工程師提早鎖定高風險族群。
- AI 時代的新資料源：企業導入內部 AI 後，AI 查詢 log 也能套用同一套預測系統——「誰在異常時段對 AI 工具大量查詢／貼上」，與 CERT 裡「誰在異常時段大量存取檔案」是同一類問題。
專案結構
index.html 作品展示頁（含 Demo 影片）
behavior_powerBI_2.pbix Power BI 儀表板
dataclean(sql)/ SQL Server ETL 與離職狀態處理
MachineLearning/ 第二部分：MLreadme、method、scripts（00～06）、figures
video_image/ Demo 影片與儀表板截圖
_reference/ 參考文獻
archive/ CERT r4.2 原始資料（不進版本控制）
