內部異常行為偵測儀表板

以 CERT r4.2 內部威脅資料集，從員工多個行為維度（登入登出／上網／裝置插拔／檔案複製／Email）建構異常分析儀表板，並結合機器學習每日預測高風險員工，及早預防內部資安事件。

---

背景文獻

三篇文獻串起本專案的出發點：先用行為找出異常，再補上「人」的因素做事前預防，並釐清所用資料集能證明什麼、不能證明什麼。

文獻 1｜行為偵測

Kamatchi, K. & Uma, E. (2025). Insights into user behavioral-based insider threat detection: systematic review. International Journal of Information Security, 24:88. DOI

• 為什麼要看「行為」？ 內部人員擁有合法權限，傳統特徵碼（signature-based）資安設備認不出「合法權限下的惡意操作」，因此以使用者行為為基礎的內部威脅偵測（UBITD）是企業的第一道防線。
• 做法：建立員工正常行為的基準線（baseline），持續監控存取模式、系統操作與網路瀏覽習慣，即時捕捉偏差行為與潛在的內部惡意操作。
• UBITD 監控的 8 大類日誌：系統登入與存取、檔案與資料操作、抽取式裝置（USB）、網路與網頁瀏覽、電子郵件、鍵盤滑鼠動態、系統指令列、情緒與心理傾向（如 Big Five 人格量表）。
• 成效：在 CERT 等基準資料集上，結合 LSTM、SVM、ResHybnet 等模型，異常行為偵測召回率（Recall）可達 90%～99%。
• 本專案涵蓋其中 6 類：登入登出、檔案、USB、上網、Email、心理測驗（OCEAN）。

文獻 2｜行為偵測的局限

Papatsaroucha, D., Psaroudaki, S., Vassilaki, E., et al. (2026). Human Vulnerability Assessment in Cybersecurity: A Systematic Literature Review of Methods, Models, and Instruments. arXiv:2605.22119. PDF

僅依賴行為偵測有其局限與挑戰：

1. 屬於「風險顯現時」偵測，而非「事前預防」
2. 無法洞察根本原因

因此要達到真正的「事前預防」，不能只靠事後的行為異常監控，還需結合員工的心理特徵、認知狀態與情境脈絡，進行全面的人類脆弱性評估（Human Vulnerability Assessment, HVA）。

所以本專案的資料集不只看「行為」，也要有「人」的資料——這正是下方 CERT r4.2 能提供的。

文獻 3｜資料集怎麼「造」出來的

Glasser, J. & Lindauer, B. (2013). Bridging the Gap: A Pragmatic Approach to Generating Insider Threat Data. IEEE Security and Privacy Workshops. DOI｜PDF

CERT 資料集的原始論文，由 CMU SEI 與 ExactData 在美國 DARPA ADAMS 計畫下產出。因真實企業日誌牽涉法律、隱私與商業機密，改以模擬器生成 500 天、整間公司的電腦紀錄。

• 心理測驗模型：每位員工一開始就被指定固定的人格特質，外加一個會隨事件變動的「工作滿意度」。人格與滿意度如何影響行為，參考兩篇組織心理學研究：
  • Mount, Ilies & Johnson (2006)：人格特質透過「工作滿意度」影響反生產工作行為（Personnel Psychology, 59, 591–622）
  • Cullen 等 (2011)：五大人格與網路上的反生產行為（SIOP 研討會海報）
• 劇本範例：部門裁員 → 同事從 LDAP 消失 → 當事人工作滿意度下降 → 上下班變得不準時（logon/logoff）→ 把文件上傳到 Dropbox（HTTP）
• 作者自己點出的限制：
  1. 適合「驗證」，不適合「發現」：可驗證「系統能抓到 USB 用量前 0.1% 的人」；不能證明「USB 用量大的人比較可能是內鬼」，因為那是設計者的假設
  2. 參數多半是設計者自訂的：無法用來證實「正常人與惡意人員的行為差異」理論
  3. 資料比真實世界乾淨：真實日誌的雜訊與缺漏遠比模擬資料多

資料集裡「人格／工作滿意度 → 行為 → 惡意事件」的因果鏈，正是依 HVA 類型的心理學研究設計，所以拿它來測試「加入人的資料能否提早預警」這個做法，方向是對的；但模型若發現 OCEAN 有預測力，只能說明「系統能抓到資料設計者埋下的關聯」，不能宣稱「人格真的能預測犯罪」。

---

資料集

• CERT Insider Threat Dataset r4.2（Kaggle）：CMU CERT 製作的合成資料，因真實企業員工 log 過於敏感無法公開，故以模擬方式產生。
• 內容：虛構公司 1,000 名員工、約 17 個月（2009/12～2011/05）的數位足跡——登入登出、隨身碟插拔、上網、寄信、檔案複製，加上每人心理測驗分數與每月組織名冊（LDAP）。
• 標籤：內含 70 名內鬼、3 種情境——洩密（下班後插 USB、上傳 wikileaks 後離職，30 人）、跳槽（逛求職網站，離職前用 USB 帶走資料，30 人）、報復（不滿的系統管理員裝側錄程式、盜用主管帳號寄恐慌信，10 人），正確答案存於 answers/insiders.csv。
• OCEAN 五大人格量表：O 開放性／C 盡責性／E 外向性／A 親和性／N 神經質，每項 10～50 分，分數越高傾向越強（如 N 高代表情緒較不穩定）。

我們想用這份資料集做到兩件事

1. 日常行為偵測：以登入、USB、上網、Email、檔案複製等行為 log，建立員工基準線並偵測偏離（第一部分儀表板）。
2. 事前預防機制：加入機器學習模型，結合行為與人格特徵預測高風險員工（第二部分）。

模擬資料集中包含 OCEAN 五大人格量表（psychometric.csv），可作為「人類脆弱性」的心理特徵一併納入模型訓練。

限制：r4.2 是合成資料，OCEAN 分數與惡意行為的關聯是資料設計出來的（依 Mount 等 2006、Cullen 等 2011 的心理學研究設定，見文獻 3），不能直接等同真實公司。依資料作者的建議，本專案屬於「驗證型」用途：驗證的是「做法可行」，不是「預測效果可直接搬到現實」。

---

專案架構

本專案分為兩部分：第一部分做「看得見異常」的儀表板，第二部分用 ML 做「預測誰有風險」，最後把預測結果接回儀表板。

CERT r4.2 原始 CSV
      │
      ├─▶【第一部分】SQL Server ETL ─▶ Power BI 星狀模型＋DAX ──────────▶ 異常分析儀表板
      │                                                                    ▲
      └─▶【第二部分】Python 人×天寬表 ─▶ Random Forest＋SHAP ─▶ 每日 Top10＋風險原因（CSV）

項目	第一部分：員工異常行為儀表板	第二部分：監督式機器學習事前預警
目的	多行為維度建立每人基準線，看見異常	每天排出高風險員工 Top10，比「提早幾天」
資料清理	SQL Server ETL，產出事實表、維度表、員工離職狀態表	Python（DuckDB）彙整「人 × 天」寬表、66 個特徵
建模	Power BI 星狀模型與 DAX 量值	Random Forest／XGBoost／Logistic Regression，逐月滾動訓練
呈現	三層鑽研儀表板	風險分數與 SHAP 原因寫回 Power BI 主儀表板
狀態	✅ 完成	✅ 完成

作品展示頁：index.html（目的、架構、方法、Demo 影片）｜版本控管：GitHub

---

第一部分：企業內員工異常行為儀表板

資料處理流程

1. 將 CSV 匯入 SQL Server，整理事實表與維度表
   • 因資料量龐大，先取 2010/7/20～2010/8/20 作為圖表展示區間
2. 整理成 View 表：logon／email／http／file／device／psychometric／date、員工離職表，以及各自的彙總表（SQL 見 dataclean(sql)/）
3. 員工離職狀態處理：比對每月 LDAP 名冊推算在職／預計離職（邏輯見 ldap-leave-status-logic.md）
4. 匯入 Power BI 建立星狀模型與量值

儀表板設計邏輯（由大到小鑽研）

層級	頁面	看什麼
全體員工	主儀表板	當日 Top10 高風險員工、總異常數、異常員工分佈部門；全員登入趨勢散佈圖找離群值、異常檔案複製列表
單一員工	員工總覽頁	該員工各行為異常數量、在職／預計離職狀態（由主頁鑽研進入）
單一員工 × 單一行為	Logon/off	登入登出明細、時間分布，與過去平均比較
	HTTP Domain	上網網域明細、時間與次數分布、不重複網域數 vs 平均值
	Email	寄信明細、一日寄信時間分布、外部收件人佔比、單信平均附件大小
	File Copy	異常複製明細；比對 file_header 與實際檔名，不符者視為疑似竄改

核心判斷：時間區間內的當日狀態 vs 歷史平均值，偏離越大越可疑。 主儀表板的 Top10 與「高風險原因」來自第二部分的模型預測。

---

第二部分：監督式機器學習事前預警

在「看見異常」之外，用機器學習每天替所有員工打風險分數，排出 Top10；評估標準不是準確率，而是比第一次犯案早幾天。完整文獻研討、方法與各表見 MachineLearning/MLreadme.md、method.md。

三個設計重點

前人做法	本專題
以週／月彙總，異常容易被平均掉	改用「人 × 天」，並加入「與自己過去 7／30 天比」的偏離量
OCEAN 人格當靜態特徵	再加 LDAP 組織變動（同部門離職人數）當動態情境，比較各自的貢獻
比精確率、召回率	每天只查前 10 名，在這個限制下比提早天數

流程

步驟	做什麼	結果	程式
① 每日彙總	原始紀錄 → 每人每天一筆	33 萬人天	01_aggregate_daily.py
② 建立特徵	今日行為、自身偏離、組織、人格、人格 × 狀態	66 個特徵；排除「距離職天數」等會洩漏未來的欄位	02_build_features.py
③ 建立標籤	犯案前幾天標為高風險	7／14／30 天三版	03_labels.py
④ 訓練與評估	4 組特徵 × 3 種模型 × 3 版標籤，逐月滾動	36 組實驗	04_train_eval.py
⑤ 解釋與匯出	SHAP 算每人前三大原因，匯出給 Power BI	risk_daily.csv、top10_daily.csv	05_explain_export.py

驗證方式：2010/8 起每月只用「該月以前」的資料訓練，替該月每天排 Top10（模擬真的上線）；評估 45 名模型沒看過的內鬼；提早天數用 Wilcoxon、抓到人數用 McNemar 檢定（p < 0.05）。

結果

#	假設	結果
H1	「人 × 天」＋與自己過去比，能在犯案前預警	✅ 成立：45 人全數進入 Top10，38 人在犯案前，中位數提早 5 天（p < 0.001）
H2	加入人格＋組織變動，能比只用行為更早	❌ 不成立：加入後提早 3～4 天，沒有比只用行為（5 天）早（p ≥ 0.05）
H3	換不同模型、或改變「犯案前幾天算高風險」，效果會不同	⚠️ 部分成立：RF 顯著勝 LR（抓到 45 vs 28 人），與 XGBoost 相當；7／14／30 天沒有差異

結論：主模型採 只用行為特徵 × Random Forest，PR-AUC 0.391（亂猜 0.007，約 53 倍）。人格資訊和行為重疊，加入只增加複雜度。

限制：r4.2 為模擬資料，只能說明「這套做法能讓警報提早」，不能推論人格在真實企業有用；評估僅 45 人，小差異不易達到顯著。另外 ITAdmin 只佔員工 3.5%，卻佔 Top10 的 36.8%（工作上常態使用多台電腦、USB），是主要誤報來源。

後續延伸

• 降低誤報：加入「跟同職務比」的偏離量；連續 2 天進榜才發警報
• 自動化上線：Python 每天凌晨排程打分 → 寫入 CSV／資料庫 → Power BI 排程重新整理；每月重訓一次
• 其他粒度與方法：session 粒度、Isolation Forest（不需標籤）當對照組

---

專案貢獻

本專案的貢獻不在模型的預測數值，而在建立一套可移植的內部威脅分析框架，包含：

1. 資料整合流程：將多來源日誌整理成「每人每日」行為特徵表
2. 以人為單位的評估方法：依時間切分訓練與測試資料，並以「風險前 N 名中命中幾人」衡量成效，貼近資安人員的實際調查量能

企業可將自身日誌套入同一框架重新訓練，並以相同標準檢驗成效。

此框架的邏輯——建立個人基準線、偵測偏離、以人為單位評估成效——也可延伸至其他異常分析領域，例如金融交易盜刷偵測、醫療保險詐領、電商帳號盜用等。

---

未來應用

• 跨產業複用：「從大維度到小維度」的儀表板邏輯，可套用到製造業異常檢測、流程異常分析，加速每日排查。
• 提早預警：以歷史資料建模，讓系統與工程師提早鎖定高風險族群。
• AI 時代的新資料源：企業導入內部 AI 後，AI 查詢 log 也能套用同一套預測系統——「誰在異常時段對 AI 工具大量查詢／貼上」，與 CERT 裡「誰在異常時段大量存取檔案」是同一類問題。

---

專案結構

index.html                作品展示頁（含 Demo 影片）
behavior_powerBI_2.pbix   Power BI 儀表板
dataclean(sql)/           SQL Server ETL 與離職狀態處理
MachineLearning/          第二部分：MLreadme、method、scripts（00～06）、figures
video_image/              Demo 影片與儀表板截圖
_reference/               參考文獻
archive/                  CERT r4.2 原始資料（不進版本控制）