Nền tảng bằng chứng: AI-agent đang chạy thật trong doanh nghiệp

Trước khi hướng dẫn doanh nghiệp làm gì, SIPTech muốn biết các tổ chức đã đưa AI vào vận hành thật bằng cách nào, và chỗ nào họ gặp khó. Bài này tóm tắt năm bài báo đã đọc kỹ toàn văn, tám bài mới đọc tóm tắt và vài khảo sát ngành. Mỗi con số đi kèm một nhãn như Nguồn S1, bấm vào là nhảy tới nguồn ở cuối trang.

Đọc nhanh: bốn điều rút ra

Năm bài đã đọc kỹ

MAP: 86 hệ thống agent đang chạy thật

Nhóm UC Berkeley, Intesa Sanpaolo, UIUC, Stanford và IBM Research, ICML 2026 Nguồn S1. Đây là khảo sát lớn nhất về agent đang vận hành, nên được dùng làm nền cho nhiều nhận định của series.

• Phương pháp: 20 ca phỏng vấn sâu; khảo sát 306 người làm agent (28/7 đến 29/10/2025); lọc còn 86 hệ thống đang chạy hoặc chạy thử, thuộc 26 lĩnh vực.
• Vì sao triển khai: năng suất 80%, giảm giờ công 72%, tăng hài lòng khách 38%, rủi ro và tuân thủ 12%.
• Phục vụ ai: 92,5% phục vụ con người; nhân viên nội bộ 52%, khách bên ngoài 40%. Triển khai nội bộ trước là chủ ý để giảm rủi ro.
• Kiến trúc đơn giản đến bất ngờ: 70% dùng mô hình có sẵn bằng prompt, không tinh chỉnh; 79% prompt viết tay hoặc tay kết hợp LLM; 68% chạy dưới 10 bước rồi chuyển cho người (47% dưới 5 bước); 16 trong 20 ca dùng workflow cố định; 17 trong 20 ca tự viết thay vì dùng framework.
• Độ trễ: 66% chấp nhận chờ từ vài phút; 15 trong 20 ca chạy bất đồng bộ.
• Đánh giá chất lượng: 74% bằng người; 52% dùng LLM làm giám khảo; 75% không dùng benchmark chính thức mà dùng A/B hoặc phản hồi chuyên gia. Mọi ca dùng LLM làm giám khảo đều kèm duyệt tay.
• Thách thức số 1 là độ tin cậy. Cách giảm rủi ro: chế độ chỉ đọc, sandbox, bọc API, phân quyền như người dùng.
• Hạn chế tác giả nêu: mẫu lệch về Châu Mỹ và mạng quen biết của nhóm; số liệu thu trong tháng 4 đến 11/2025.

Nubank: chăm sóc khách hàng ở quy mô 100 triệu người dùng

KDD 2026 Nguồn S2. Bài mô tả cách xây agent hỗ trợ khách và đo bằng A/B test thật.

Đơn vị: điểm phần trăm Nguồn S2

• Thiết kế: ReAct với 5 đến 15 công cụ. Ngữ cảnh chia module có phiên bản (hướng dẫn, quy trình lấy từ SOP, macro, mô tả công cụ, bảng nháp). Hạ tầng đi trước prompt: danh tính, API hành động idempotent, nhật ký kiểm toán.
• Công cụ: mô tả công cụ được coi là prompt; chỉ trả về trường cần thiết; gộp luồng cố định thành một công cụ ghép bằng code.
• Ca giao thẻ: 3 công cụ, 5 bộ chấm (E1 đến E5); 3 chuyên viên gán nhãn rồi lấy đa số, giữ lời giải thích; "vài trăm nhãn nhị phân là đủ để dựng một bộ chấm".
• Tối ưu bộ chấm bằng GEPA: độ chính xác E3 tăng từ 58,07% lên 73,01%. Ở E2, prompt viết tay (68,88%) kém hơn cách đoán theo lớp đa số (77,78%). Độ đồng thuận kappa giữa các mô hình tăng rõ sau tối ưu (ví dụ GPT-5 và o3: 0,950).
• Triển khai: mỗi biến thể bắt đầu ở 1% lưu lượng; điểm đo offline tương quan dương với kết quả online. Tác giả ghi "10 biến thể" ở một chỗ và "11" ở chỗ khác.
• Đánh đổi: tNPS và tỷ lệ tự phục vụ kéo nhau xuống: chuyển ngay ca khó cho người làm tNPS đẹp nhưng giảm tự phục vụ.
• Riêng tư: ẩn danh dữ liệu; hợp đồng xử lý dữ liệu cấm bên thứ ba huấn luyện trên dữ liệu; agent không đưa ra quyết định tín dụng hay nợ không thể đảo ngược.

Airbnb: tra cứu SOP bằng "kỹ năng" di động

Bài về agentic RAG Nguồn S3. Đây là nguồn quan trọng nhất cho nhóm bài Tra cứu tài liệu nội bộ.

• Bài toán: từ một ca hỗ trợ đã ẩn danh, sinh hướng dẫn từng bước cho nhân viên, kèm trích dẫn nguyên văn từ 2.881 bài SOP.
• Giải pháp: "skill" gồm file hướng dẫn, vài script, cấu hình và kho tri thức. Lớp điều hướng khoảng 2.700 trang wiki do GPT-4.1 sinh trong một lượt: mỗi trang ghi việc nó giải quyết, liên kết có kiểu về bài gốc, gộp quy trình bị chia nhỏ. Công cụ tìm kiếm chỉ có BM25 cộng vector, không re-ranker, không tinh chỉnh.
• Hàng rào bằng code: trình kiểm tra từ chối cả lần ghi nếu một đoạn trích không phải chuỗi con nguyên văn của bài nguồn; kết quả là 100% đoạn trích hợp lệ.
• Kết quả trên 132 ca thật: tương đương quy trình chuẩn 99,2% (khoảng tin cậy 95,8 đến 99,9); đủ bằng chứng 83,3% (76,1 đến 88,7). Hệ thống RAG production hiện có đạt 59,8% ở chỉ số bằng chứng và 96,2% ở chỉ số quy trình.
• Thử bỏ từng phần (ablation): BM25 riêng, vector riêng, bỏ từng thuộc tính của lớp điều hướng: không cấu hình nào khác hệ thống đầy đủ ở mức p<0,05 (n=132); gần nhất là bỏ thực thể gộp (p=0,078). Tác giả chỉ kết luận "có tính định hướng".
• Chi phí: triển khai 1 đến 2 ngày công kỹ sư; chậm khoảng 90 giây so với 8 đến 9 giây của trợ lý production; chấm lấy đa số 3 lần vì một lần có bất đồng khoảng 15%.
• Thất bại còn lại chủ yếu do SOP thiếu bước mà nhân viên giỏi vẫn làm. Muốn tốt hơn cần viết thêm SOP, không phải sửa khâu truy xuất.
• Hạn chế tác giả nêu: một bộ tài liệu, một triển khai; con người xem lại mọi ca.

BMO ESCROW: sửa "kỹ năng" mà không làm hỏng ca cũ

NeurIPS 2026 Nguồn S4.

• Hệ thống: FinDAS kiểm toán tài liệu tài chính nộp kèm hồ sơ vay thế chấp; 78 tài liệu chính sách, 23 loại tài liệu; bộ 15 công cụ.
• Ý tưởng: giữ nguyên mô hình, chỉ sửa skill (viết bằng ngôn ngữ tự nhiên). Bản sửa chỉ được nhận khi không nhóm ca nào xấu đi và các ca đã sửa trước đó vẫn đúng; mỗi thay đổi là một diff đọc được cho bộ phận tuân thủ.
• Bằng chứng: qua 4 vòng cập nhật, nếu không có kho ca cũ thì điểm trên ca cũ tụt từ 0,857 xuống 0,7; có kho này thì giữ khoảng 0,84 (chênh +0,138, khoảng tin cậy +0,10 đến +0,18).
• Hạn chế: chấm lại toàn bộ ca tốn kém nên vòng lặp chỉ xử lý được vài trăm ca; không phát hành mã hay dữ liệu.

SAP: bộ nhớ chung cho tổ chức

Bài về agent lập trình trong doanh nghiệp Nguồn S5.

• Hệ thống: hook phát hiện thay đổi file tri thức rồi xin phép người đóng góp; chuỗi nhiều agent soạn cặp hỏi đáp, gắn nhãn, quét bảo mật, kiểm tra trùng; truy xuất qua MCP ba mức.
• Số liệu (một vài nhóm nội bộ, ngày 22/7/2026): 900 đóng góp cho ra 1.144 bộ nhớ (53,7% đóng góp tạo ít nhất một bộ nhớ).
• Tác giả thừa nhận: hiệu quả đối với chất lượng lập trình chưa được đo; điểm tin cậy chưa được hiệu chuẩn; có nguy cơ nhiễm độc bộ nhớ dùng chung.

Tám bài mới đọc tóm tắt

Cần đọc kỹ trước khi trích số liệu.

• Making Sense of AI Agents Hype: 138 bài nói của người làm thực tế Nguồn S6
• How Do Practitioners Build SE Agents? Nguồn S7
• Governed Agentic Workflows in Regulated Finance (Zafin) Nguồn S8
• Reference Architecture for Agentic AI in Enterprise Software Nguồn S9
• READY or Not (Scale AI) Nguồn S10
• Is Bash All You Need? (Microsoft, CMU) Nguồn S11
• EAIR: rủi ro khi nhiều agent tương tác Nguồn S12
• Skill LLMs cho chăm sóc khách hàng (Dialpad) Nguồn S13

Khảo sát ngành: chỉ để tham khảo

Các số dưới đây thu được qua một lượt tìm web, chưa đọc nguồn gốc, và các nguồn mâu thuẫn nhau. Số liệu từ nhà cung cấp công cụ AI có lợi ích liên quan.

• Khảo sát State of AI Agents 2026 của Anthropic (hơn 500 lãnh đạo kỹ thuật): ứng dụng ngoài lập trình hiệu quả nhất là phân tích dữ liệu và báo cáo (60%) và tự động hóa quy trình nội bộ (48%) Nguồn S15.
• Snowflake: 40% đơn vị đo được ROI báo thu về 1,49 đô la cho mỗi 1 đô la Nguồn S16.
• WRITER: 79% gặp khó khăn đáng kể; 23% thấy ROI rõ rệt Nguồn S17.
• Tỷ lệ dùng agent trong production dao động khoảng 40% đến 80% tùy cách định nghĩa "production".

Nguồn

Bấm tên nguồn để mở bài gốc. Nhãn màu cho biết SIPTech đã đọc tới đâu.

1. S1
   Measuring Agents in Production (MAP)UC Berkeley, Intesa Sanpaolo, UIUC, Stanford, IBM Research · ICML 2026 · arXiv 2512.04123

   Đọc trực tiếpMở nguồn ↗
2. S2
   Building Customer Support AI Agents at 100M-User ScaleNubank · KDD 2026 · arXiv 2606.08867

   Đọc trực tiếpMở nguồn ↗
3. S3
   Agentic RAG via Portable SkillsAirbnb · arXiv 2610.14428

   Đọc trực tiếpMở nguồn ↗
4. S4
   ESCROWBMO · NeurIPS 2026 · arXiv 2608.01772

   Đọc trực tiếpMở nguồn ↗
5. S5
   Shared Organizational Memory for Enterprise Coding AgentsSAP · arXiv 2608.00122

   Đọc trực tiếpMở nguồn ↗
6. S6
   Making Sense of AI Agents HypearXiv 2604.00189

   Chỉ đọc tóm tắtMở nguồn ↗
7. S7
   How Do Practitioners Build SE Agents?arXiv 2607.10856

   Chỉ đọc tóm tắtMở nguồn ↗
8. S8
   Governed Agentic Workflows in Regulated FinanceZafin · arXiv 2610.33253

   Chỉ đọc tóm tắtMở nguồn ↗
9. S9
   Reference Architecture for Agentic AI in Enterprise SoftwarearXiv 2610.14818

   Chỉ đọc tóm tắtMở nguồn ↗
10. S10
    READY or NotScale AI · arXiv 2609.02095

    Chỉ đọc tóm tắtMở nguồn ↗
11. S11
    Is Bash All You Need?Microsoft, CMU · arXiv 2609.11999

    Chỉ đọc tóm tắtMở nguồn ↗
12. S12
    EAIR: rủi ro tương tác multi-agentarXiv 2610.14800

    Chỉ đọc tóm tắtMở nguồn ↗
13. S13
    Skill LLMs cho chăm sóc khách hàngDialpad · arXiv 2610.14346

    Chỉ đọc tóm tắtMở nguồn ↗
14. S14
    Agents in the WildarXiv 2607.19336

    Chỉ đọc tóm tắtMở nguồn ↗

    Chỉ là mô tả dạng hướng dẫn, không dùng làm bằng chứng

15. S15
    State of AI Agents 2026Anthropic · hơn 500 lãnh đạo kỹ thuật

    Qua nguồn thứ cấpchưa có đường dẫn

    Nhà cung cấp có lợi ích liên quan; chưa đọc báo cáo gốc

16. S16
    Khảo sát ROI của SnowflakeSnowflake

    Qua nguồn thứ cấpchưa có đường dẫn

    Nhà cung cấp có lợi ích liên quan; chưa đọc báo cáo gốc

17. S17
    Khảo sát của WRITERWRITER

    Qua nguồn thứ cấpchưa có đường dẫn

    Nhà cung cấp có lợi ích liên quan; chưa đọc báo cáo gốc