TCO hạ tầng AI: Tự build hay thuê cloud?

16/09/2026

Cuộc họp 2 giờ về 1 con số sai

Tháng trước, tôi ngồi trong phòng họp tầng 12 của một tập đoàn sản xuất lớn. Trên màn hình là bản báo cáo đầu tư AI cho dây chuyền đóng gói. Con số dự toán chi phí vận hành 3 năm được trình bày rất đẹp, font chữ to, màu xanh dương chuẩn mực. Nhưng khi tôi hỏi về chi phí điện cho các GPU chạy inference liên tục, người phụ trách IT im lặng khoảng 10 giây. Họ đã tính giá phần mềm và license, nhưng bỏ qua thực tế là một server AI chạy 24/7 tốn điện gấp đôi server văn phòng thông thường. Kết quả? Con số đó thấp hơn thực tế khoảng một phần ba. Họ chưa thể ký hợp đồng vì CFO yêu cầu làm rõ phần "chi phí ẩn" này. Đây không phải trường hợp cá biệt. Rất nhiều doanh nghiệp Việt Nam đang mắc kẹt ở bước tính toán này.

Giải đáp nhanh

TCO hạ tầng AI gồm những thành phần nào?

Không chỉ là giá phần mềm. TCO bao gồm: chi phí phần cứng (GPU, CPU, RAM), chi phí năng lượng (điện, làm mát), chi phí nhân sự vận hành (DevOps, Data Engineer), chi phí bảo trì dự phòng và chi phí cơ hội khi hệ thống bị downtime.

Khi nào nên tự build hạ tầng?

Khi bạn có dữ liệu nhạy cảm không thể đưa lên cloud, hoặc khi workload rất ổn định và chạy liên tục trên 80% thời gian trong ngày. Lúc đó, chi phí khấu hao server sẽ thấp hơn phí thuê cloud theo giờ.

Có nên dùng cloud ngay từ đầu không?

Nếu bạn đang ở giai đoạn PoC (Proof of Concept) hoặc chưa xác định rõ mô hình, cloud là lựa chọn an toàn. Bạn tránh được rủi ro đầu tư sai phần cứng. Nhưng đừng quên chuyển về on-prem khi quy mô đủ lớn.

Ba con đường, ba cái giá phải trả

Thị trường hiện nay, từ các nhà máy tại Việt Nam đến chuỗi bán lẻ ở Thái Lan hay các công ty phân phối tại Mexico, thường đứng trước ba lựa chọn chính. Không có lựa chọn nào là "tốt nhất" tuyệt đối. Mỗi cái đi kèm một cái giá phải trả mà bạn cần chấp nhận.

Cách tiếp cận đầu tiên là On-premise hoàn toàn. Bạn mua server, đặt trong phòng máy, tự quản lý. Cái hay là dữ liệu không rời khỏi lãnh thổ, độ trễ thấp. Nhưng cái giá là bạn phải trả ngay lập tức một khoản vốn đầu tư lớn (CapEx). Chưa kể, bạn cần một đội ngũ IT đủ mạnh để xử lý sự cố phần cứng lúc 3 giờ sáng. Ở một dự án cho doanh nghiệp ngành dầu nhớt mà chúng tôi từng đồng hành, chi phí nhân sự bảo trì chiếm đến 40% tổng chi phí sở hữu sau năm thứ hai. Nhiều công ty không lường trước được con số này.

Cách thứ hai là Cloud thuần túy. Bạn thuê GPU từ AWS, Azure hay GCP. Ưu điểm rõ ràng: không cần đầu tư ban đầu, mở rộng quy mô tức thì. Nhưng với bối cảnh Việt Nam, chi phí băng thông (data transfer) ra vào cloud có thể làm đội giá lên gấp đôi so với ước tính ban đầu. Ngoài ra, vấn đề chủ quyền dữ liệu vẫn là rào cản lớn với các ngành tài chính hay y tế. Tôi từng tư vấn cho một tập đoàn tại Philippines, họ muốn dùng cloud cho hệ thống chatbot nhưng phải chi thêm một khoản phí khổng lồ để mã hóa và lưu trữ dữ liệu theo quy định địa phương.

Cách thứ ba, và đây là xu hướng mà AIVISION thường khuyến nghị cho các doanh nghiệp vừa và lớn, là Hỗn hợp (Hybrid). Bạn giữ phần dữ liệu nhạy cảm và các mô hình cần độ trễ thấp trên server nội bộ. Các tác vụ xử lý khối lượng lớn, không khẩn cấp, hoặc các giai đoạn huấn luyện mô hình (training) thì đẩy lên cloud. Cách này cân bằng được chi phí và rủi ro, nhưng đòi hỏi kiến trúc hệ thống phải được thiết kế bài bản từ đầu. Nếu làm ẩu, bạn sẽ có hai hệ thống rời rạc, tốn kém nhân lực quản lý.

Nơi tiền, thời gian và niềm tin bị hao hụt

Khi nói đến quyết định đầu tư, chúng ta thường chỉ nhìn vào bảng tính Excel. Nhưng thực tế, TCO không chỉ là tiền.

Chỗ tốn tiền: Ngoài phần cứng và điện, hãy tính đến chi phí "sai sót". Một mô hình AI nếu chạy sai thông số, doanh nghiệp có thể mất hàng giờ để debug. Trong ngành thực phẩm, ví dụ như dự án kiểm tra chất lượng cho Meat Deli hay các nhà máy mì ăn liền, một lỗi nhận diện có thể dẫn đến hàng tấn sản phẩm bị loại bỏ nhầm. Chi phí cho những lần "sai" đó thường bị bỏ qua trong báo cáo tài chính, nhưng nó ăn mòn lợi nhuận rất nhanh.

Chỗ tốn thời gian: Việc tích hợp AI vào quy trình hiện có không nhanh như quảng cáo. Bạn cần thời gian làm sạch dữ liệu, thời gian đào tạo lại nhân viên, và thời gian chờ đợi hệ thống đạt độ ổn định. Tôi thấy nhiều dự án kéo dài gấp đôi so với kế hoạch chỉ vì khâu chuẩn bị dữ liệu. Nếu bạn tính TCO mà không tính cả thời gian trì hoãn này, bạn sẽ đánh giá sai hiệu suất đầu tư (ROI).

Chỗ tốn niềm tin nội bộ: Đây là yếu tố vô hình nhưng nguy hiểm nhất. Khi bạn chuyển từ cách làm thủ công sang AI, nhân viên vận hành thường phản ứng. Họ sợ bị thay thế hoặc sợ phải học cách mới. Nếu quản lý không giải thích rõ, họ sẽ cố tình không khai báo đủ dữ liệu, khiến mô hình AI kém chính xác. Khi đó, lãnh đạo sẽ đổ lỗi cho công nghệ, trong khi gốc rễ là con người. Niềm tin nội bộ bị xói mòn, và dự án AI sẽ chết yểu dù hạ tầng có đắt tiền đến đâu. Đã có trường hợp tại một tập đoàn lớn, hệ thống chấm điểm trưng bày AI hoạt động tốt về mặt kỹ thuật, nhưng nhân viên bán hàng không hợp tác nhập liệu, khiến dữ liệu đầu vào bị nhiễu. Chúng tôi mất thêm ba tháng để xây lại quy trình và niềm tin trước khi hệ thống thực sự phát huy tác dụng.

Để tính toán chính xác, bạn cần nhìn vào cả ba khía cạnh này. Một công thức TCO thực tế nên bao gồm: (Chi phí phần cứng + Chi phí điện + Chi phí nhân sự + Chi phí rủi ro vận hành) / Tổng giá trị tạo ra. Nhưng đừng quên trừ đi phần "giá trị bị hao hụt" do thiếu niềm tin và sai sót vận hành.

Hiện tại, thị trường vẫn chưa có một chuẩn mực chung cho việc định giá "niềm tin nội bộ" trong TCO. Đây là khoảng trống mà các CFO và CTO cần cùng ngồi lại để định nghĩa rõ hơn. Chúng ta cần thêm các chỉ số đo lường cụ thể về mức độ chấp nhận công nghệ của nhân viên, không chỉ là các chỉ số kỹ thuật. Cho đến khi có được điều đó, mọi bài toán TCO vẫn chỉ là một phần của bức tranh. Phần còn lại nằm ở con người và văn hóa tổ chức. Đó là thứ khó mua bằng tiền, nhưng nếu không đầu tư, bạn sẽ phải trả giá đắt hơn rất nhiều.

Nếu bạn đang cân nhắc một bài toán tương tự, đội ngũ AIVISION có thể ngồi lại cùng bạn để bóc tách phạm vi trước khi chi một đồng nào. Tham khảo dịch vụ AI hoặc đặt một buổi trao đổi.