Khi mức sử dụng trung bình lên tới 8 tỷ token mỗi ngày, bài toán đặt ra không còn đơn thuần là tối ưu mô hình mà là giải quyết một vấn đề quy mô khổng lồ.

Đó chính là thực tế tại AT&T. Giám đốc dữ liệu Andy Markus và đội ngũ của ông sớm nhận ra rằng việc đẩy toàn bộ khối lượng xử lý qua các mô hình suy luận lớn là điều không khả thi — cả về mặt kỹ thuật lẫn chi phí.

Vì vậy, khi xây dựng trợ lý nội bộ Ask AT&T, họ đã thiết kế lại hoàn toàn tầng điều phối. Kết quả là một kiến trúc đa tác tử (multi-agent) xây dựng trên nền LangChain, nơi các “siêu tác tử” LLM điều phối các “tác tử công nhân” nhỏ hơn bên dưới, mỗi tác tử đảm nhiệm những nhiệm vụ hẹp, rõ ràng và có mục tiêu cụ thể.

Theo chia sẻ của Markus với VentureBeat, lớp điều phối linh hoạt này đã cải thiện đáng kể độ trễ, tốc độ và thời gian phản hồi. Đáng chú ý nhất, đội ngũ của ông ghi nhận mức tiết kiệm chi phí lên tới 90%. Không chỉ vậy, hệ thống giờ đây có thể xử lý 27 tỷ token mỗi ngày — gấp hơn ba lần chỉ trong vài tháng.

“Tôi tin tương lai của AI tác tử sẽ là rất, rất nhiều mô hình ngôn ngữ nhỏ (SLM),” ông nói. “Trong một lĩnh vực cụ thể, chúng tôi thấy các mô hình nhỏ gần như chính xác tương đương, thậm chí ngang bằng với mô hình lớn.”

Gần đây nhất, Markus và đội ngũ đã tận dụng kiến trúc mới này kết hợp với Microsoft Azure để xây dựng và triển khai Ask AT&T Workflows — một công cụ tạo tác tử dạng kéo-thả cho phép nhân viên tự động hóa công việc.

Các tác tử này khai thác bộ công cụ độc quyền của AT&T, xử lý tài liệu, chuyển đổi ngôn ngữ tự nhiên sang SQL và phân tích hình ảnh. “Khi workflow được thực thi, chính dữ liệu của AT&T mới là yếu tố dẫn dắt quyết định,” Markus cho biết. Thay vì đặt câu hỏi chung chung, “chúng tôi đặt câu hỏi trực tiếp lên dữ liệu của mình và đưa dữ liệu vào trung tâm của quá trình ra quyết định.”

Dù vậy, con người vẫn giám sát toàn bộ “phản ứng dây chuyền” của các tác tử. Mọi hành động đều được ghi log, dữ liệu được cô lập xuyên suốt quá trình và quyền truy cập dựa trên vai trò được áp dụng khi các tác tử chuyển giao công việc cho nhau.

“Có những thứ diễn ra tự động, nhưng con người trong vòng lặp vẫn đảm bảo cơ chế kiểm soát và cân bằng,” Markus nhấn mạnh.

Không xây lại từ đầu, dùng mô hình “hoán đổi được”

AT&T không theo đuổi tư duy “tự xây mọi thứ từ đầu”. Theo Markus, họ ưu tiên các mô hình có thể “hoán đổi và lựa chọn linh hoạt” và tránh “xây lại những thứ đã trở thành hàng hóa phổ thông”. Khi chức năng trên thị trường đã trưởng thành, họ sẵn sàng loại bỏ công cụ tự phát triển để chuyển sang giải pháp thương mại có sẵn.

“Trong lĩnh vực này, mọi thứ thay đổi từng tuần, thậm chí nhiều lần một tuần,” ông nói. “Chúng tôi cần khả năng thử nghiệm, cắm vào và rút ra các thành phần khác nhau.”

Đội ngũ thực hiện các đánh giá cực kỳ nghiêm ngặt với cả giải pháp bên ngoài lẫn nội bộ. Chẳng hạn, công cụ Ask Data with Relational Knowledge Graph của họ từng dẫn đầu bảng xếp hạng độ chính xác text-to-SQL Spider 2.0; các công cụ khác cũng đạt điểm cao trên benchmark BERT SQL.

Với các công cụ tác tử tự phát triển, họ sử dụng LangChain làm framework lõi, tinh chỉnh mô hình bằng RAG tiêu chuẩn cùng các thuật toán nội bộ, đồng thời hợp tác chặt chẽ với Microsoft, tận dụng khả năng tìm kiếm của hãng cho vector store.

Tuy nhiên, Markus cảnh báo không nên áp dụng AI tác tử chỉ để chạy theo xu hướng. “Đôi khi chúng ta làm mọi thứ phức tạp hóa không cần thiết,” ông nói. “Tôi đã thấy nhiều giải pháp bị thiết kế quá mức.”

Thay vào đó, người xây dựng cần tự hỏi liệu một công cụ có thực sự cần kiến trúc tác tử hay không. Ví dụ: nếu dùng giải pháp sinh nội dung một lượt đơn giản hơn thì mức độ chính xác đạt được là bao nhiêu? Có thể tách bài toán thành những phần nhỏ hơn để mỗi phần đạt độ chính xác cao hơn không?

Theo ông, độ chính xác, chi phí và độ phản hồi của công cụ phải là ba nguyên tắc cốt lõi. “Dù giải pháp có phức tạp đến đâu, ba nguyên tắc cơ bản đó vẫn luôn định hướng cho chúng tôi.”

100.000 nhân viên đang dùng nó như thế nào

Ask AT&T Workflows đã được triển khai cho hơn 100.000 nhân viên. Hơn một nửa cho biết họ sử dụng mỗi ngày, và những người dùng tích cực ghi nhận mức tăng năng suất lên tới 90%.

“Chúng tôi nhìn vào việc họ có quay lại sử dụng hệ thống nhiều lần hay không. Độ bám dính là một chỉ báo tốt cho thành công,” Markus nói.

Công cụ xây dựng tác tử cung cấp hai lộ trình. Một là pro-code, cho phép người dùng lập trình Python phía sau để quy định cách tác tử hoạt động. Hai là no-code, với giao diện kéo-thả trực quan, mang lại trải nghiệm nhẹ nhàng hơn.

Điều thú vị là ngay cả những người thành thạo kỹ thuật cũng đang nghiêng về phương án thứ hai. Tại một hackathon dành cho đối tượng kỹ thuật, hơn một nửa đã chọn low-code — điều khiến đội ngũ bất ngờ.

Nhân viên ứng dụng tác tử trong nhiều chức năng khác nhau. Ví dụ, một kỹ sư mạng có thể xây dựng chuỗi tác tử để xử lý cảnh báo và khôi phục kết nối khi khách hàng mất mạng. Một tác tử sẽ phân tích telemetry để xác định sự cố và vị trí, truy xuất log thay đổi và kiểm tra lỗi đã biết, sau đó mở ticket sự cố.

Tác tử tiếp theo có thể đề xuất phương án khắc phục, thậm chí viết mã mới để vá lỗi. Khi vấn đề được giải quyết, tác tử thứ ba sẽ tổng hợp báo cáo và đề xuất biện pháp phòng ngừa trong tương lai.

“Kỹ sư vẫn giám sát toàn bộ, đảm bảo các tác tử hành động đúng và phù hợp,” Markus cho biết.

Lập trình được tăng tốc bởi AI là tương lai

Kỷ luật kỹ thuật đó — chia nhỏ công việc thành những phần chuyên biệt — hiện cũng đang thay đổi cách AT&T viết mã thông qua cái gọi là “AI-fueled coding”.

Markus so sánh quy trình này với RAG: lập trình viên sử dụng phương pháp agile trong môi trường IDE, kết hợp các archetype xây dựng chuyên biệt theo chức năng để quy định cách mã tương tác.

Kết quả không phải là đoạn mã rời rạc. Mã sinh ra “gần như đạt chuẩn production” và có thể đạt chất lượng đó chỉ trong một lượt. Nếu như “vibe coding” thường kéo theo nhiều vòng lặp qua lại với trình chỉnh sửa tác tử, thì AI-fueled coding loại bỏ phần lớn những vòng lặp đó.

Ông tin kỹ thuật này đang “tái định nghĩa rõ rệt” vòng đời phát triển phần mềm, rút ngắn thời gian triển khai và tăng sản lượng mã đạt chuẩn production. Ngay cả các nhóm phi kỹ thuật cũng có thể tham gia, sử dụng prompt ngôn ngữ tự nhiên để xây dựng prototype phần mềm.

Đội ngũ của ông từng dùng phương pháp này để tạo một sản phẩm dữ liệu nội bộ chỉ trong 20 phút — thay vì mất sáu tuần nếu không có AI. “Chúng tôi phát triển phần mềm với nó, chỉnh sửa phần mềm với nó, làm khoa học dữ liệu, phân tích dữ liệu, kỹ thuật dữ liệu với nó,” Markus nói. “Đó thực sự là một bước ngoặt.”

REVOLAND – CÔNG NGHỆ NÂNG TẦM ĐẤT VIỆT

Hotline: (096) 807-0478

Email: revolandcom@gmail.com

Website: https://www.revoland.vn/

Địa chỉ: Số 40 Đường D2A, The Manhattan Vinhomes Grand Park, Phường Long Bình, Thành phố Thủ Đức, TP. Hồ Chí Minh.