Quản Lý Con Người Cho AI: Xây Dựng Nhóm AI Tốc Độ Cao

Liu

quan-ly-con-nguoi-cho-ai-xay-dung-nhom-ai-toc-do-cao

Bài viết này mô tả cách kết hợp cơ sở hạ tầng ML, con người và quy trình với nhau để kích hoạt MLOps hoạt động cho tổ chức của bạn. Nó cung cấp lời khuyên thiết thực cho các nhà quản lý và giám đốc đang tìm cách xây dựng một phương pháp AI/ML mạnh mẽ với các nhóm AI tốc độ cao.

Lời khuyên mà chúng tôi chia sẻ trong bài đăng này dựa trên kinh nghiệm của nhóm Provectus AI đã làm việc với nhiều khách hàng ở các giai đoạn khác nhau trong hành trình AI của họ.

Nhóm AI cân bằng là gì?

Chỉ một vài năm trước, một phần đáng kể các dự án AI/ML là trách nhiệm của các nhà khoa học dữ liệu. Trong khi một số nhóm dựa vào sự kết hợp tiên tiến hơn giữa các vai trò và công cụ, thì các nhà khoa học dữ liệu xử lý các mô hình trong sổ ghi chép là tiêu chuẩn của ngành.

Ngày nay, việc chỉ thuê một nhà khoa học dữ liệu là không đủ để đưa một dự án AI/ML khả thi vào sản xuất một cách nhanh chóng, hiệu quả và trên quy mô lớn. Nó yêu cầu một nhóm đa chức năng, hiệu suất cao với nhiều vai trò, mỗi vai trò xử lý phần cơ sở hạ tầng ML và MLOps của riêng họ.

Trong một nhóm hiện đại, một nhà khoa học dữ liệu hoặc nhà khoa học dữ liệu công dân vẫn là một thành viên thiết yếu. Các nhà khoa học dữ liệu là những chuyên gia về chủ đề, những người hiểu dữ liệu và doanh nghiệp một cách toàn diện. Họ thực hành khai thác dữ liệu, mô hình hóa dữ liệu và trực quan hóa dữ liệu. Họ cũng luôn cập nhật các vấn đề về chất lượng dữ liệu và sai lệch dữ liệu, phân tích các thử nghiệm và kết quả đầu ra của mô hình, xác thực các giả thuyết và đóng góp vào lộ trình kỹ thuật ML.

Một nhóm AI cân bằng cũng nên bao gồm một kỹ sư ML có bộ kỹ năng khác với kỹ năng của một nhà khoa học dữ liệu. Họ phải có kiến thức chuyên môn sâu về các ứng dụng AI và ML cụ thể cũng như các trường hợp sử dụng. Ví dụ: nếu bạn xây dựng ứng dụng Thị giác máy tính, kỹ sư ML phải có kiến thức sâu rộng về các mô hình học sâu tiên tiến nhất cho Thị giác máy tính.

Lưu ý: Mọi kỹ sư ML đều phải có kiến thức chuyên môn về MLOps, nhưng bản thân cơ sở hạ tầng ML/MLOps, bao gồm các công cụ và thành phần của nó, phải là lĩnh vực của chuyên gia MLOps chuyên dụng.

Người quản lý dự án cũng nên được đào tạo để thực hiện các dự án ML và AI. Luồng công việc của dự án Scrum hoặc Kanban truyền thống không hoạt động đối với các dự án ML. Chẳng hạn, tại Provectus, chúng tôi có một phương pháp cụ thể để quản lý phạm vi và dòng thời gian của dự án ML cũng như để đặt kỳ vọng cho các bên liên quan trong hoạt động kinh doanh của dự án.

Chúng ta sẽ khám phá chi tiết hơn từng vai trò trong số này (và các vai trò khác), đồng thời giải thích cách chúng ánh xạ lên cơ sở hạ tầng ML, quy trình hỗ trợ MLOps và phân phối ML. Thông điệp rút ra ở đây là các nhóm AI cần có một thành phần cân bằng để kích hoạt MLOps và đẩy nhanh việc áp dụng AI.

Đọc thêm: Cách Provectus và GoCheck Kids xây dựng cơ sở hạ tầng ML để cải thiện khả năng sử dụng trong quá trình sàng lọc thị lực

Những thách thức về quản lý khi xây dựng nhóm AI

Ngoài thành phần nhóm thực tế, quản lý hiệu quả là yếu tố sống còn để giúp các nhóm AI hoạt động đồng bộ với cơ sở hạ tầng ML và nền tảng MLOps.

Một cơ cấu tổ chức điển hình từ góc độ quản lý bao gồm:

Các đơn vị kinh doanh và kỹ sư phần mềm truyền thống báo cáo với VP Kỹ thuật
Các chuyên gia DevOps và chuyên gia cơ sở hạ tầng báo cáo với Phó chủ tịch cơ sở hạ tầng
Các nhà khoa học dữ liệu xử lý dữ liệu và thường làm việc trực tiếp với các bên liên quan trong kinh doanh
Kỹ sư dữ liệu xây dựng hệ thống được thiết kế để chuyển đổi dữ liệu thô thành thông tin có thể sử dụng cho các nhà khoa học dữ liệu và nhà phân tích kinh doanh

quan-ly-con-nguoi-cho-ai-xay-dung-nhom-ai-toc-do-cao-1

Cấu trúc này tạo ra các silo khổng lồ giữa các bộ phận và các thách thức khác.

Do sự hiểu biết của các công ty về quy trình công việc ML và quản lý dự án AI còn hạn chế nên không ai trong các nhóm trên hiểu đầy đủ cách chuyển các mục tiêu kinh doanh thành việc tung ra một sản phẩm AI trong sản xuất. Do đó, không thể quản lý phạm vi và KPI của dự án, dẫn đến không đáp ứng được kỳ vọng của các bên liên quan trong kinh doanh.
Một số công ty cố gắng ủy quyền các dự án AI cho các nhóm khoa học dữ liệu hiện có trước đây làm việc trong các silo của riêng họ và dựa vào các phương pháp tiếp cận Khoa học dữ liệu không hiệu quả với các dự án AI/ML. Kết quả là họ có những sản phẩm dở dang và những dự án không thể triển khai sản xuất.
Các công ty khác thường chỉ định các dự án AI cho các nhà phát triển Java và .NET truyền thống hoặc tận dụng API ML của bên thứ ba. Cách tiếp cận này cũng có xu hướng thất bại vì bạn vẫn cần hiểu sâu về dữ liệu và các thuật toán cơ bản của nó để sử dụng các API này một cách hiệu quả. Kết quả là họ phải gánh một khoản nợ kỹ thuật ngày càng tăng dưới dạng mã Khoa học dữ liệu sẽ không bao giờ được đưa vào sản xuất.

Giải pháp cho những thách thức này nằm ở việc tìm ra sự cân bằng phù hợp giữa con người và công cụ. Trong ngữ cảnh của bài viết này, điều này có nghĩa là một nhóm AI cân bằng sử dụng cơ sở hạ tầng MLOps đầu cuối để cộng tác và lặp lại.

Hãy nhớ rằng bạn không thể đơn giản thuê một Chuyên gia MLOps hoặc mua một nền tảng MLOps. Bạn cần cả hai: Một cơ sở hạ tầng mạnh mẽ và một nhóm AI cân bằng để giúp các dự án AI/ML của bạn bắt đầu hoạt động.

Cách một nhóm AI cân bằng và Cơ sở hạ tầng MLOps phối hợp với nhau

Sức mạnh tổng hợp của các vai trò cụ thể trong một nhóm AI cân bằng và cơ sở hạ tầng MLOps có thể được hình dung dưới dạng một hệ sinh thái ba tầng:

quan-ly-con-nguoi-cho-ai-xay-dung-nhom-ai-toc-do-cao-2

Tầng đầu tiên là xương sống cơ sở hạ tầng của MLOps , được hỗ trợ bởi các chuyên gia về Đám mây & Bảo mật và DevOps. Tầng này lưu trữ các thành phần cơ sở hạ tầng cơ bản như truy cập, kết nối mạng, bảo mật và đường dẫn CI/CD.
Tầng thứ hai là tài sản được chia sẻ và sử dụng lại của MLOps . Tầng này được quản lý bởi các kỹ sư ML và chuyên gia MLOps, đồng thời bao gồm các sổ ghi chép có nhiều hình ảnh, nhân và mẫu khác nhau; đường ống với các thành phần và thư viện được coi là tài sản dùng chung; thí nghiệm; bộ dữ liệu và tính năng; và người mẫu. Mọi tài sản của tầng này có thể được sử dụng và tái sử dụng bởi các nhóm khác nhau, giúp tăng tốc độ phát triển và áp dụng AI.
Tầng thứ ba là các dự án AI , thuộc trách nhiệm của các nhà khoa học dữ liệu, nhà phát triển phần mềm toàn diện và người quản lý dự án. Tầng này độc lập với hai tầng còn lại, nhưng được kích hoạt bởi chúng.

Lưu ý rằng các vai trò Đám mây & Bảo mật, DevOps, kỹ sư ML và MLOps được đặt giữa các cấp và đóng góp cho từng cấp. Ví dụ:

Cloud & Security sở hữu xương sống cơ sở hạ tầng, nhưng họ cũng chịu trách nhiệm về lớp tài sản được sử dụng lại, đảm bảo rằng tất cả các thành phần và quy trình kiểm tra đều được thực hiện.
Các chuyên gia DevOps xử lý các phần tự động hóa của hai tầng dưới cùng, từ tự động hóa các bản dựng đến quản lý môi trường.
Các kỹ sư ML có cả chuyên môn về dự án và cơ sở hạ tầng MLOps. Họ chịu trách nhiệm về các thành phần riêng lẻ của cấp tài sản được sử dụng lại.
Các chuyên gia MLOps làm việc trực tiếp với các kỹ sư ML nhưng họ sở hữu toàn bộ cơ sở hạ tầng (ví dụ: Amazon SageMaker, Kubeflow). Mục tiêu cuối cùng của họ là gắn kết mọi thứ lại với nhau.

Đồng thời, các nhà khoa học dữ liệu công dân có thể ưu tiên triển khai một dự án AI/ML cụ thể, hoạt động chủ yếu trên sổ ghi chép. Họ có thể sở hữu một phần cụ thể của đường ống ML, nhưng không bị ép buộc phải tham gia vào MLOps cỏ dại. Các kỹ sư full-stack có thể làm việc trên phần mềm thông thường của một sản phẩm AI, từ giao diện người dùng đến API. Các nhà quản lý dự án được đào tạo về ML làm việc trong quá trình triển khai sản phẩm.

Tất nhiên, đây chỉ là một đại diện trừu tượng. Dưới đây là một cơ sở hạ tầng tham chiếu thể hiện xương sống của cơ sở hạ tầng.

quan-ly-con-nguoi-cho-ai-xay-dung-nhom-ai-toc-do-cao-4

Ở đây, chúng ta thấy rằng các nhà khoa học dữ liệu có các công cụ để làm việc với dữ liệu thô, thực hiện phân tích dữ liệu trong sổ ghi chép và kiểm tra các giả thuyết. Họ có thể dễ dàng chạy thử nghiệm trong môi trường thử nghiệm do các kỹ sư ML quản lý . Môi trường thử nghiệm bao gồm các thành phần được chia sẻ và sử dụng lại, chẳng hạn như kho lưu trữ tính năng, tạo tập dữ liệu, đào tạo mô hình, đánh giá mô hình và các mẫu truy cập dữ liệu được định cấu hình trước. Điều này cho phép tự động hóa các nhiệm vụ tẻ nhạt, dễ xảy ra lỗi trong khi không đẩy các nhà khoa học dữ liệu ra khỏi vùng an toàn của họ.

Các kỹ sư ML chịu trách nhiệm sản xuất các mô hình ML, nghĩa là họ chuẩn bị mã thuật toán và mã tiền xử lý dữ liệu để phục vụ trong môi trường sản xuất. Họ cũng xây dựng và vận hành các đường ống khác nhau cho môi trường thử nghiệm.

Các chuyên gia DevOps giúp quản lý hiệu quả tất cả các thành phần cơ sở hạ tầng. Ví dụ: Trong kiến trúc tham chiếu của chúng tôi, các số từ một đến bốn thể hiện quy trình công việc CI do DevOps xử lý.

Tóm tắt

Việc kích hoạt MLOps cần có thời gian và tài nguyên. Quan trọng nhất, nó đòi hỏi sự hiểu biết rằng MLOps liên quan nhiều đến con người và quy trình cũng như liên quan đến các công nghệ thực tế trên mặt đất. Sẽ không quá phức tạp nếu bạn có thể tổ chức các vai trò và chức năng cụ thể, khớp chúng với các thành phần tương ứng trong cơ sở hạ tầng máy học của bạn. Hãy nhớ rằng: Con người + Cơ sở hạ tầng = MLOps.

Tại Provectus, chúng tôi giúp các doanh nghiệp xây dựng các giải pháp AI/ML tiên tiến nhất đồng thời nuôi dưỡng các nhóm AI tốc độ cao, được hỗ trợ bởi cơ sở hạ tầng mạnh mẽ dành cho MLOps. Vui lòng liên hệ với chúng tôi để bắt đầu đánh giá các lựa chọn cho tổ chức của bạn!

Nếu bạn quan tâm đến việc xây dựng các nhóm AI tốc độ cao và MLOps, chúng tôi khuyên bạn cũng nên yêu cầu hội thảo trực tuyến theo yêu cầu này . Nó là miễn phí!

Copyright Disclaimer:

This site does not store any files on its server. We only index and link to content provided by other sites. Please contact the content providers to delete copyright contents if any and email us, we'll remove relevant links or contents immediately.

Tuyên bố miễn trừ bản quyền:

Trang web này không lưu trữ bất kỳ tệp nào trên máy chủ của nó. Chúng tôi chỉ lập chỉ mục và liên kết đến nội dung được cung cấp bởi các trang web khác. Vui lòng liên hệ với các nhà cung cấp nội dung để xóa nội dung bản quyền nếu có và gửi email cho chúng tôi, chúng tôi sẽ xóa các liên kết hoặc nội dung có liên quan ngay lập tức.