Day02 - MLOps 簡介
MLOps 發展已經有一段時間,但是在 2020 年才開始逐漸被廣泛討論,這是因為在過去許多企業開始將 AI/ML 應用於生產環境,並開始面臨 AI/ML 應用程式的管理挑戰。 這些挑戰包括:
如何管理數據科學家和工程師之間的協作?
如何管理、監控機器學習模型的生命週期?
如何評估模型的性能?
而 MLOps 正是為了解決這些挑戰而演進出來的流程和自動化步驟,用於管理程式碼、數據和模型。 它結合了 DevOps、DataOps 和 ModelOps。
可從 Databricks 示意圖來理解
[Reference](https://docs.databricks.com/en/_images/mlops-lakehouse.png)
另外,Azure Databricks 架構圖也可以幫助我們理解 MLOps 更宏觀、企業級的觀點,除了 Dev/Staging/Production 環境 (DevOps) 的 程式碼管理 (ML Code and Pipeline Code),DataOps 需要考慮 Data Engineering 的 End-to-End 流程,以及 ModelOps 上的模型訓練、驗證、部署、監控等流程。
[Reference](https://learn.microsoft.com/en-us/azure/architecture/ai-ml/idea/_images/orchestrate-mlops-azure-databricks-01.png#lightbox)
我們接下來會在接下來的內容中,逐步介紹如何使用 Databricks 來實現 MLOps。