排程監控與告警系統

1. 01

   排程觸發

   依各規則的排程時間，逐條觸發檢查。

2. 02

   取得 Lock

   先取得該規則的分散式 lock，確保同一時間只有一個執行者處理這條規則。

3. 03

   載入規則

   讀取規則設定：資料源、查詢條件、時間範圍、門檻與告警人員。

4. 04

   查詢資料源

   DB 規則查詢 PostgreSQL；Log 規則透過 OpenSearch 查詢。

5. 05

   判斷條件

   統計時間範圍內的筆數，判斷是否超過門檻。

6. 06

   檢查抑制時間

   針對每位告警人員與每個通知管道，檢查抑制時間內是否已通知過，已通知過就跳過。

7. 07

   發送通知

   條件成立時，依規則設定寄送 Email 或簡訊給尚未被抑制的告警人員，並記錄通知時間。

8. 08

   釋放 Lock

   處理完成後釋放 lock。

每條規則都是一份獨立的設定，不同規則可以有不同的資料源、時間範圍、門檻與告警人員。

資料源

DB 或 Log

查詢條件

要統計哪些資料或哪些 Log

時間範圍

例如最近 3 天、最近 7 天

門檻

例如超過 5 筆

告警人員

每位人員各自的姓名、Email 與電話

通知方式

Email、簡訊

是否啟用抑制

可選擇要不要啟用抑制機制

抑制時間

同一人、同一管道通知後，多久內不再通知

調整規則的例子

• 今天三天內的資料超過 5 筆，就通知。
• 明天改為七天內的資料超過 5 筆，才通知。

規則設定範例

{
  "ruleId": "timeout-errors-3d",
  "source": "LOG",
  "query": "level:ERROR AND message:timeout",
  "window": { "unit": "DAY", "value": 3 },
  "threshold": { "operator": ">", "count": 5 },
  "recipients": [
    { "name": "Alice", "email": "alice@example.com", "phone": "0900-000-001" },
    { "name": "Bob",   "email": "bob@example.com",   "phone": "0900-000-002" }
  ],
  "channels": ["EMAIL", "SMS"],
  "suppression": { "enabled": true, "unit": "MINUTE", "value": 60 }
}

示意用的設定概念，姓名、Email 與電話皆為假資料。

條件持續成立時，每一輪排程都會判斷為異常。如果每一輪都通知，告警人員會不斷被重複打擾。因此每條規則可以設定抑制時間。

• >每條規則可以設定是否啟用抑制；沒有啟用時，不會做抑制判斷。
• >啟用後，以「同一位告警人員＋同一個通知管道」為單位判斷。
• >在抑制時間內已經通知過，就不會再通知，直到抑制時間結束。
• >同一個人的 Email 與簡訊分開計算，不會互相影響。