“华为云ModelArts”的版本间的差异

2021年7月31日 (六) 06:29的版本

ModelArts 是面向开发者的一站式 AI 开发平台，为机器学习与深度学习提供海量数据预处理及交互式智能标注、大规模分布式训练、自动化模型生成，及端-边-云模型按需部署能力，帮助用户快速创建和部署模型，管理全周期 AI 工作流。
详细的使用手册

1. 准备数据，把数据按照自己的目录结构，放在OBS的存储服务器上，OBS事实上就是一种网盘服务。
2. 创建你的训练作业，即你需要先指定一个代码目录，他会自动执行“train.py”，你可以用argparse增加一些超参数，然后在创建的时候进行指定，也可以用一个json来配置。

- 在训练作业执行之前，你还需要指定一个OBS上的目录，这个目录有你全部的数据，他会自动把这个目录加载到计算服务器上的“/home/work/modelarts/inputs”目录下。

- 执行完的输出结果，他会自动扔到“/home/work/modelarts/outputs”目录下，然后自动传送到你在训练作业执行之前指定的OBS输出路径中。
3. 训练作业有完整的执行日志，你可以检查你的bug，或者看你的运行结果。
4. 如果有部署需要，你需要按照规则来编写一个“customize_service.py”推理代码。然后你就可以在ModelArts上部署模型，最后再部署服务。你可以理解成，你把一个没有答案的测试集扔进去，他就可以随时给你用你训练好的模型跑出来一份结果。

部署服务是要收费的，不过没有训练那么贵。

1.使用jupyter调试也是要占用他的计算资源的，要钱，而且也是一小时28一块V100。调试需要大量时间，很浪费。

2.在线上调试也需要去考虑路径问题，需要把OBS的文件加载到计算服务器上，比较麻烦。当然，jupyter因为有文件夹管理，可以显式地看到你的文件夹目录，一次申请只需要载入一次，而且可以直接用命令行来操作，可以不需要在代码中加载，还是比较方便的。

使用Jupyter的时机，应该是一切已经完成了，在你的本地已经可以跑起来了，但是在ModelArts训练作业中，遇到了一些ModelArts上的一些使用bug，而且你看执行日志还看不懂，所以就可以用Jupyter短暂地调试一下。为了省钱，调试的时候可以不使用GPU，用CPU就可以了，代码能跑起来就行。

@@ 第7行： / 第7行： @@
 * 2. 创建你的训练作业，即你需要先指定一个代码目录，他会自动执行“train.py”，你可以用argparse增加一些超参数，然后在创建的时候进行指定，也可以用一个json来配置。
-** 在训练作业执行之前，你还需要指定一个OBS上的目录，这个目录有你全部的数据，他会自动把这个目录加载到计算服务器上的“/home/work/modelarts/inputs”目录下。
+**在训练作业执行之前，你还需要指定一个OBS上的目录，这个目录有你全部的数据，他会自动把这个目录加载到计算服务器上的“/home/work/modelarts/inputs”目录下。
-** 执行完的输出结果，他会自动扔到“/home/work/modelarts/outputs”目录下，然后自动传送到你在训练作业执行之前指定的OBS输出路径中。
+**执行完的输出结果，他会自动扔到“/home/work/modelarts/outputs”目录下，然后自动传送到你在训练作业执行之前指定的OBS输出路径中。
 * 3. 训练作业有完整的执行日志，你可以检查你的bug，或者看你的运行结果。
 * 4. 如果有部署需要，你需要按照规则来编写一个“customize_service.py”推理代码。然后你就可以在ModelArts上部署模型，最后再部署服务。你可以理解成，你把一个没有答案的测试集扔进去，他就可以随时给你用你训练好的模型跑出来一份结果。