机器学习文档

  |   0 评论   |   0 浏览

背景

学习大厂的机器学习pipeline

初体验

Azure机器学习

见Azure机器学习文档，架构为：

数据访问

数据引入：本地文件/线上数据/公开URL数据 --> 数据工厂(DataStore)中的数据集。

该图显示了流入数据存储和数据集的 Azure 存储服务。 数据集流入模型训练，模型训练流入数据漂移，而数据漂移又流回数据集。

数据和训练打通：

数据 --> 训练脚本 --> 训练 -> 数据集回流到数据工厂

数据引入

数据引入工作流：

  1. 专门设计用于ETL数据
  2. 可以创建数据驱动式工作流用于协调大规模的数据移动与转换
  3. 数据准备和模型训练过程是独立的
  4. 为非脚本方法提供低代码体验用户界面

ADF 数据引入

低代码设计器

显示如何访问设计器的可视工作区屏幕截图

Python SDK

什么是适用于 Python 的 Azure 机器学习 SDK？，

命名空间：

  • azureml.core.workspace.Workspace：工作区
  • azureml.core.experiment.Experiment：实验
  • azureml.core.run.Run：运行
  • azureml.core.model.Model：模型
  • azureml.core.compute.ComputeTarget
  • azureml.core.runconfig.RunConfiguration
  • azureml.core.script_run_config.ScriptRunConfig
  • azureml.core.environment：环境
  • azureml.pipeline.core.pipeline.Pipeline
  • azureml.pipeline.steps.python_script_step.PythonScriptStep
  • azureml.core.model.InferenceConfig：模型部署
  • azureml.core.webservice.webservice.Webservice
  • azureml.core.dataset.Dataset：数据集
  • azureml.data.file_dataset.FileDataset
  • azureml.data.tabular_dataset.TabularDataset

同样有：RestAPI。