MLOps engineer là gì và vì sao vai trò này khác hẳn kỹ sư DevOps

Tác giả CareerLink

Nhiều doanh nghiệp huấn luyện được mô hình cho kết quả đẹp trên máy của nhà khoa học dữ liệu, rồi dừng lại ở đó suốt nhiều tháng vì không ai đưa được nó ra hệ thống thật. Khoảng trống đó sinh ra một vai trò riêng, và câu hỏi MLOps engineer là gì thường được trả lời quá gọn bằng một dòng định nghĩa dịch từ tiếng Anh.

MLOps engineer là gì

Tổng quan nhanh

– Kỹ sư MLOps dựng hạ tầng và quy trình để mô hình đi từ thí nghiệm ra sản xuất rồi sống được lâu dài.

– Khác biệt gốc so với DevOps là phải quản lý phiên bản của cả mã nguồn, dữ liệu lẫn mô hình.

– Mô hình xuống cấp theo thời gian dù mã nguồn không đổi một dòng nào, nên giám sát là phần việc thường trực.

– Đây hiếm khi là vị trí dành cho người mới, đường vào nghề thường đi qua backend, DevOps hoặc kỹ sư dữ liệu.

1. MLOps engineer là gì và vì sao vai trò này xuất hiện

MLOps là cách gọi tắt của Machine Learning Operations, tập hợp thực hành đưa mô hình học máy vào vận hành và giữ nó chạy được ở đó. Kỹ sư MLOps (MLOps Engineer) dựng hạ tầng, quy trình và công cụ cho toàn bộ vòng đời ấy: đóng gói mô hình, tự động hoá huấn luyện và triển khai, quản lý phiên bản, theo dõi chất lượng dự đoán và quay lui khi có sự cố.

Vai trò này xuất hiện vì một nghịch lý quen thuộc: phần mã huấn luyện chỉ chiếm một mảnh nhỏ trong hệ thống hoàn chỉnh, còn lại là thu thập dữ liệu, kiểm tra chất lượng, phục vụ dự đoán, giám sát và hạ tầng. Bài viết “Hidden Technical Debt in Machine Learning Systems” của nhóm nghiên cứu Google, công bố năm 2015, đã mô tả đúng hiện tượng đó từ sớm.

Một mô hình không được triển khai thì không tạo ra giá trị nào, dù chỉ số đánh giá của nó có đẹp đến đâu.

Tài liệu về MLOps của Google Cloud mô tả mức trưởng thành theo bậc, từ quy trình thủ công, tới tự động hoá pipeline huấn luyện, rồi tới hệ thống có phát hành liên tục cho cả mô hình. Ở những doanh nghiệp mới bắt đầu đưa học máy vào vận hành, việc của một MLOps engineer thường nghiêng về xây nền móng.

2. MLOps không phải “DevOps cho AI” theo nghĩa đơn giản

Cách gọi tắt này phổ biến và cũng gây hiểu nhầm nhiều nhất. DevOps xử lý một tạo tác có phiên bản là mã nguồn: kiểm soát bằng Git, kiểm thử tự động, đóng gói rồi phát hành. Một MLOps engineer phải kiểm soát ba tạo tác cùng lúc, trong đó hai tạo tác thêm vào không nằm gọn trong Git.

Khía cạnh DevOps truyền thống MLOps
Tạo tác cần quản lý phiên bản Mã nguồn và cấu hình Mã nguồn, tập dữ liệu và trọng số mô hình
Nguyên nhân sự cố sau phát hành Lỗi mã nguồn, cấu hình hoặc hạ tầng Thêm nguyên nhân dữ liệu đầu vào đổi trong khi mã không đổi
Tính lặp lại của một lần chạy Cùng mã cho ra cùng kết quả Cần cố định cả dữ liệu, tham số và hạt giống ngẫu nhiên
Việc quay lui khi hỏng Trả về phiên bản mã trước đó Trả về phiên bản mô hình kèm đúng dữ liệu và cấu hình đã sinh ra nó

Hệ quả là không thể bê nguyên quy trình phát hành phần mềm sang áp cho mô hình. Pipeline học máy cần thêm bước kiểm tra lược đồ dữ liệu, so sánh chỉ số của mô hình ứng viên với mô hình đang chạy, và ghi lại dòng dõi dữ liệu. Vai trò làm việc gần nhất với vị trí này là kỹ sư học máy; bài Machine Learning Engineer mô tả phần việc mô hình hoá để bạn đối chiếu với phần hạ tầng nói ở đây.

3. Mô hình xuống cấp dù mã nguồn không đổi một dòng

Đây là điểm khiến nghề này khác hẳn phần còn lại của kỹ thuật phần mềm. Một dịch vụ web viết xong, không ai sửa, tháng sau vẫn chạy như cũ. Một mô hình để nguyên thì tháng sau có thể dự đoán tệ đi, vì thế giới bên ngoài đã đổi trong khi mô hình giữ nguyên hiểu biết cũ.

– Trôi dữ liệu (data drift) xảy ra khi phân phối dữ liệu đầu vào lệch khỏi dữ liệu dùng để huấn luyện.

– Trôi khái niệm (concept drift) xảy ra khi quan hệ giữa đầu vào và nhãn thay đổi, ví dụ thủ đoạn gian lận đổi cách thức.

– Lệch giữa huấn luyện và phục vụ xảy ra khi cách tính đặc trưng hai lúc khác nhau.

– Dữ liệu thượng nguồn đổi lược đồ hoặc đơn vị đo mà không báo trước cho đội mô hình.

Bốn kiểu hỏng này có chung một đặc điểm: hệ thống không văng lỗi, dịch vụ vẫn trả kết quả, chỉ có chất lượng dự đoán âm thầm đi xuống. Vì vậy phần giám sát mà một MLOps engineer dựng phải đo cả phân phối dữ liệu lẫn chỉ số mô hình, chứ không dừng ở độ trễ và tỷ lệ lỗi.

Lưu ý khi dựng phần giám sát mô hình

– Nhãn thật thường về trễ nhiều ngày hoặc nhiều tháng, nên không thể chờ nhãn rồi mới phát hiện vấn đề.

– Cảnh báo đặt quá nhạy sẽ kêu liên tục và bị đội trực bỏ qua sau vài tuần.

– Huấn luyện lại theo lịch cố định không thay được việc theo dõi, vì trôi dữ liệu không đến theo lịch.

Nhu cầu tuyển dụng cho nhóm vị trí hạ tầng dữ liệu và mô hình nằm trong mảng phát triển phần mềm; bạn có thể mở các tin việc làm CNTT – phần mềm đang tuyển trên CareerLink để xem doanh nghiệp mô tả yêu cầu cho nhóm việc này ra sao.

4. Công việc thật của một MLOps engineer

Nhịp làm việc gắn với hệ thống đang chạy và với các đội dùng hạ tầng do bạn dựng. Một phần thời gian dành cho nền tảng dùng chung, phần còn lại là hỗ trợ đội mô hình đưa phiên bản mới ra ngoài mà không làm gãy thứ đang chạy. Khác với vai trò nghiêng về mô hình hoá, MLOps engineer ít khi tự chọn thuật toán; câu hỏi của họ là quy trình này có lặp lại được, truy vết được và quay lui được hay không.

– Đóng gói mô hình thành dịch vụ có giao diện lập trình ổn định và giới hạn tài nguyên rõ.

– Dựng pipeline huấn luyện chạy được theo lịch hoặc theo sự kiện, với các bước kiểm tra dữ liệu ở đầu vào.

– Quản lý model registry để mỗi phiên bản mô hình gắn với dữ liệu, tham số và người phê duyệt.

– Thiết lập phát hành dần như canary hoặc shadow để so sánh mô hình mới với bản đang chạy.

– Xử lý sự cố khi chỉ số tụt, quyết định quay lui phiên bản hay huấn luyện lại.

Xen giữa đó là phần ít được nhắc tới nhưng tốn nhiều thời gian: viết tài liệu, chuẩn hoá cách đặt tên và thuyết phục các đội dùng chung một quy trình.

5. Bộ công cụ thường gặp trong công việc

Không có bộ công cụ chuẩn cho mọi doanh nghiệp, nên hãy hiểu theo nhóm chức năng thay vì học thuộc tên phần mềm. Đóng gói và điều phối hạ tầng dùng Docker cùng Kubernetes, kèm Terraform để mô tả hạ tầng bằng mã. Điều phối luồng công việc có Apache Airflow hoặc Kubeflow Pipelines. Theo dõi thí nghiệm và quản lý phiên bản mô hình thường gặp MLflow, phiên bản dữ liệu có DVC, còn feature store như Feast giải bài toán lệch giữa huấn luyện và phục vụ. Phần giám sát dựa trên Prometheus và Grafana.

Một MLOps engineer cũng cần nền tảng chung của kỹ thuật phần mềm, phần nhiều ứng viên xem nhẹ.

– Thành thạo Python ở mức viết được dịch vụ có kiểm thử, không dừng ở script rời rạc.

– Thạo Linux, mạng cơ bản, Git và một nền tảng đám mây như AWS, Google Cloud hoặc Azure.

– Biết viết truy vấn SQL và đọc được cấu trúc kho dữ liệu của doanh nghiệp.

Danh sách này dài, và đó là lý do dẫn tới phần nói về đường vào nghề bên dưới.

6. Ranh giới với data scientist, data engineer và kỹ sư học máy

Cách phân định gọn nhất là hỏi ai chịu trách nhiệm khi sự cố xảy ra lúc nửa đêm. Nhà khoa học dữ liệu (Data Scientist) chịu trách nhiệm việc bài toán được mô hình hoá đúng hay sai, kỹ sư dữ liệu (Data Engineer) lo dữ liệu về kho đúng giờ và đúng lược đồ, còn kỹ sư học máy (Machine Learning Engineer) chịu trách nhiệm chất lượng dự đoán của dịch vụ mình viết. MLOps engineer chịu trách nhiệm về nền tảng dùng chung, nên sản phẩm bàn giao của họ là hạ tầng chứ không phải mô hình. Ở đội nhỏ, một người ôm cả bốn phần việc và chức danh mang tính hình thức; ranh giới chỉ rõ khi tổ chức có nhiều mô hình chạy song song. Khi đọc tin tuyển dụng, hãy nhìn sản phẩm bàn giao thay vì nhìn chức danh.

MLOps engineer là gì

7. Vì sao đây hiếm khi là vị trí cho người mới

Cần nói thẳng điều này để bạn không mất thời gian nộp nhầm. Vị trí MLOps engineer đòi hỏi đồng thời kỹ năng vận hành hệ thống, kỹ thuật phần mềm và hiểu biết về vòng đời mô hình, tức phần giao của ba mảng mà mỗi mảng vốn đã cần thời gian tích luỹ. Doanh nghiệp giao nền tảng dùng chung cho một người thường muốn thấy người đó từng trực sự cố và chịu trách nhiệm cho hệ thống chạy thật. Vì vậy nhiều tin tuyển dụng đặt vị trí này ở mức trung cấp trở lên.

Đường vào nghề thực tế thường đi vòng qua một vai trò nền tảng trước.

– Từ lập trình viên backend, bạn đã biết viết dịch vụ và kiểm thử, cần bổ sung phần vòng đời mô hình.

– Từ kỹ sư DevOps hoặc quản trị hệ thống, bạn mạnh hạ tầng, cần học cách đánh giá mô hình và trôi dữ liệu.

– Từ kỹ sư dữ liệu, bạn quen pipeline và kho dữ liệu, cần bổ sung phần triển khai và giám sát mô hình.

Cách tạo bằng chứng năng lực khi chưa có kinh nghiệm trực tiếp

– Hãy dựng một pipeline nhỏ chạy trọn vẹn từ dữ liệu thô tới dịch vụ dự đoán có giám sát.

– Hãy ghi lại quyết định kỹ thuật trong tài liệu dự án, gồm ngưỡng cảnh báo và cách quay lui.

– Hãy nhận phần việc triển khai mô hình ngay trong công ty hiện tại nếu đội dữ liệu đang thiếu người làm.

Con đường vòng này nghe chậm nhưng vững, vì kỹ năng vận hành chỉ hình thành qua việc chịu trách nhiệm cho một hệ thống thật đủ lâu.

8. Câu hỏi thường gặp

1. Không giỏi toán và thuật toán có làm MLOps engineer được không?

Bạn cần hiểu cách đánh giá mô hình, ý nghĩa các chỉ số và khái niệm trôi dữ liệu ở mức đọc được báo cáo của đội mô hình. Phần toán chuyên sâu thuộc về vai trò mô hình hoá.

2. Học chứng chỉ đám mây có giúp ích cho hướng đi này không?

Chứng chỉ cho bạn khung kiến thức và giúp qua vòng lọc hồ sơ ở một số nơi, nhưng người phỏng vấn vẫn hỏi về hệ thống bạn từng vận hành. Nên học kèm một dự án triển khai thật.

3. Công ty chưa có mô hình nào chạy thì có cần vị trí này không?

Thường là chưa. Khi mới có một hai mô hình, đội hiện tại kiêm nhiệm vẫn xử lý được. Nhu cầu tuyển MLOps engineer riêng xuất hiện khi số mô hình tăng và việc duy trì nền tảng chung trở nên tốn thời gian.

Hiểu đúng MLOps engineer là gì giúp bạn tránh hai ngộ nhận hay gặp: xem đây là phiên bản đổi tên của DevOps, hoặc xem đây là cửa vào dễ dàng của lĩnh vực trí tuệ nhân tạo. Đây là vai trò hạ tầng cho vòng đời mô hình, đo bằng mức độ lặp lại và truy vết được của quy trình. Hãy bắt đầu từ một vai trò kỹ thuật nền tảng rồi nhận dần phần việc triển khai.

Nội dung trong bài mang tính tham khảo tại thời điểm biên soạn. Tên gọi vị trí, bộ công cụ phổ biến và yêu cầu tuyển dụng thay đổi theo từng doanh nghiệp, quy mô hệ thống và thời điểm thị trường.

Minh An

Bài viết liên quan

Zalo Icon