Bỏ qua để đến Nội dung

[O02] O02 — Intelligence System AI Audit: Current State, Gaps & Roadmap

15 tháng 3, 2026 bởi
[O02] O02 — Intelligence System AI Audit: Current State, Gaps & Roadmap
Viet Nguyen
⚠️ HIGH  |  Category: Vận hành  |  ID: O02  |  Owner: CEO

O02 — Intelligence System AI Audit: Current State, Gaps & Roadmap

Tóm tắt

75 scripts / 56 cron jobs trong Intelligence System v2. 8 scripts claim "AI reasoning" nhưng chỉ 3/8 dùng LLM thực sự. Sau upgrade 2026-03-14, thêm 3 scripts có AI insights. Vẫn còn 4 hạn chế cốt lõi cần cải tiến dần (Kaizen).

---

1. AI Audit Result (2026-03-13)

| Script | Actual Method | LLM? | |--------|--------------|------| | intelligence_coordinator.py | LLM synthesis (tổng hợp đa nguồn) | Yes | | ceo_morning_brief.py | LLM narrative generation | Yes | | market_report.py | LLM market analysis | Yes | | revenue_forecast.py | Linear regression + week-of-year factors | No — statistics | | anomaly_detector.py | Z-score (2 sigma threshold) | No — statistics | | feedback_calibration.py | Weighted average adjustment | No — statistics | | stock_predictor.py | Moving average + reorder logic | No — statistics | | churn_risk.py | Recency/frequency scoring | No — statistics |

Kết luận audit: "Automated reporting + basic statistics + LLM summarization" — chưa phải AI reasoning thực sự ở 5/8 scripts.

2. Post-Audit Upgrade (2026-03-14)

3 scripts đã được nâng cấp có AI insights qua ai_provider.py:

| Script | AI Enhancement | Fallback | |--------|---------------|----------| | trend_analyzer.py | AI root-cause analysis cho anomalies/trends (Sec 5 trong report) | --no-ai flag, graceful skip nếu provider unavailable | | stock_predictor.py | AI recommendation cho reorder decisions | --no-ai flag | | churn_risk.py | AI analysis cho churn patterns | --no-ai flag |

Pattern: Mọi script AI-enhanced đều có --no-ai flag + try/except fallback. Script vẫn chạy bình thường nếu AI provider down.

3. Provider Architecture

ai_provider.py — provider-agnostic abstraction layer:

AI_PROVIDER=claude|openai|gemini   # env var switch
AI_MODEL=claude-sonnet-4-6         # model name per provider
  • Unified interface: ai.chat(system=, user=, context=, max_tokens=, temperature=)
  • No vendor lock-in: Claude Code builds the system, nhưng runtime chạy bất kỳ provider nào
  • API keys: ANTHROPIC_API_KEY / OPENAI_API_KEY / GEMINI_API_KEY

    • 4. Current Limitations (Gaps)

    4.1 Seasonality Blind

  • revenue_forecast.py đã có basic week-of-year factors, nhưng cần 1+ năm data mới có seasonal patterns thực sự
  • Chưa account cho: Tết, 8/3, 20/10, Valentine, Black Friday, mùa cưới

    • 4.2 Hard Thresholds — Not Adaptive

  • Anomaly detection: fixed 2 sigma (threshold_sigma=2.0 trong detect_anomalies())
  • Churn risk: fixed 2x multiplier
  • Trend detection: fixed 3-week streak minimum
  • Nên: thresholds tự điều chỉnh theo ngành/mùa/volume

    • 4.3 No Self-Learning

  • feedback_calibration.py tồn tại nhưng chưa thực sự calibrate thresholds
  • Chỉ adjust weights, chưa feed back vào anomaly/churn/forecast scripts
  • Chưa có: human feedback loop (CEO đánh giá "alert đúng/sai" → model learn)

    • 4.4 Silent Failures

  • Một số scripts nuốt exception, chỉ print("[WARN]") mà không log ra file hoặc alert
  • generate_ai_insight() trong trend_analyzer.py: catch-all except Exception → chỉ print warning
  • Cần: structured error logging + alert khi AI provider fail liên tục

    • 5. Roadmap

    | Priority | Item | Status | Notes | |----------|------|--------|-------| | P1 | RAG upgrade cho ceo_query.py | Done | Entity extraction thay keyword matching | | P1 | KB Guard hook | Active | Auto-trigger KB read trước khi code | | P2 | Seasonal model | Waiting | Cần tích lũy 1+ năm data (target: Q1 2027) | | P2 | Adaptive thresholds | Planned | feedback_calibration → feed vào anomaly/churn | | P3 | Human feedback loop | Planned | CEO mark alert đúng/sai → recalibrate | | P3 | Structured error logging | Planned | Replace silent failures với proper logging |

    Quy tắc áp dụng

    1. Khi thêm script mới claim "AI": phải dùng ai_provider.py + có --no-ai fallback 2. Khi đọc AI-generated insights: nhớ rằng chỉ 6/75 scripts có LLM — phần lớn là statistics 3. Khi debug AI failures: check provider config trước (env vars), sau đó check silent failure patterns 4. Review by 2026-06-30: re-audit toàn bộ, đánh giá seasonal model readiness

    📚 Published from Company Knowledge Base — O02
    Last updated: 2026-03-14
    Review by: 2026-06-12

    [O01] O01 — Tam giác đồng bộ: Thực tế ↔ Claude ↔ Odoo