nfs10(nfs100)

图表 1.1.1

1.1、基础设施层

基础设施层以X86的服务器、专业工作站为载体，可通过 GPU、CPU 等提供高性能加速计算，支持 TCP/IP，InfiniBand 高速网络互联，以及 NFS 和 GlusterFS 两种类型的存储格式。

1.2、资源调度层

采用容器化技术管理底层资源，并利用 Kubernetes（K8s）技术进行容器编排调度。

1.3、应用服务层

应用服务层支持主流的 TensorFlow、Caffe、PyTorch 和 MxNet 等主流的机器学习框架，以及完整的机器学习所需的处理流程，实现资源操作自动化。

1.4、业务领域层

通过支持自然语言处理、图像识别和语音识别等任务，可以满足金融、教育、医疗、制造等行业场景的 AI 开发需求。

2、特色功能

2.1、模型训练

2.1.1、任务列表

任务管理界面，有“任务训练”、“交互式开发”、“可视化”、“模型部署”等四个功能页。管理员用户可以查看和管理所有用户的训练任务，包括任务训练任务、交互式开发任务、可视化任务、模型部署任务。

图表 1.2.1

查看任务

可以看到所有用户的所有任务的简要配置信息，如任务名称、所属用户、任务的执行器、所属分区、资源配额、创建时间等。点击“任务训练”、“交互式开发”、“可视化”、“模型部署”来展示不同类型的任务。

比如在交互式任务 “interactive14871” 中，可以分别看到任务节点、用户名、执行器、分区名称、资源配置、任务优先级、运行状态、创建时间、空闲时间等。

图表 1.2.2

点击“详情”可以进一步查看任务的基本信息、资源配置、应用信息和状态等。

图表 1.2.3

删除任务

点击“删除”按钮即可删除正在运行中的任务。

需要注意的是在“任务训练”中的任务，点击“删除”按钮，只会删除正在运行中的训练任务，记录无法被删除，记录不会占用 CPU、GPU、内存等资源，其他类型任务删除后不保留记录。

查询用户任务

在界面右侧输入框中输入要查找的用户名，回车进行查找。

2.1.2、任务统计

管理员可对 HP AI 开发平台中各分区任务进行统计。查看分区中已计划、已完成、运行中、暂停中的任务数量以及任务的资源占用信息。“任务统计”可以帮助管理员了解各分区中用户在一段时间内使用任务训练的使用情况。

图表1.2.4

根据日期统计任务

管理员可选择指定日期，统计指定日期时间到当前时间的任务数量及任务资源占用情况。

图表 1.2.5

2.1.3、任务队列

点击左侧菜单“任务队列”，进入任务队列界面，分别显示优先级为“高”、“普通”、“低”三种优先级任务。

图表1.2.6

2.2、数据存储

HP AI 开发平台支持基于 NFS 的分布式存储方式，满足用户对数据的安全和性能要求。丰富的数据管理、分享功能极大方便了用户的使用。

2.2.1、数据卷

管理员可以创建 NFS 卷，对卷进行管理操作，查看卷的使用情况。

图表1.2.7

查看“NFS”卷列表

可以看到 NFS 数据卷列表及每个数据卷的服务器地址、共享目录、挂载权限、状态及描述状态。

图表 1.2.8

创建 NFS 卷

点击“创建 NFS 卷”按钮，进入NFS卷创建界面。

图表 1.2.9

NFS 名词参数解释

图表 1.2.10

查看卷使用情况

管理员用户在数据卷列表页面点击卷名称后，该数据卷的总使用情况和各用户使用情况均会显示在此页面。

图表 1.2.11

2.2.2、公共数据

公共数据即拥有 HP AI 开发平台用户都可以访问的数据，管理员可以上传公共数据，并对公共数据进行管理，普通用户只有复制到用户私有数据和下载权限。

图表 1.2.12

创建目录

用户可以在“公共数据”页面点击“创建目录”来创建自己的目录。名称不能包含以下字符”, ‘|’, ‘*’, ‘?’, ‘,’，’/’，’ ‘, 长度在1~50个字符，创建成功会有相应提示。否则创建失败。

图表 1.2.13

上传数据

将本地文件上传到“公共数据”中。适合小文件的上传。

图表 1.2.14

刷新

若对文件进行了增删修改操作，点击“刷新”按钮更新文件状态及属性。

文件列表：文件及文件夹管理

针对文件列表里面的每一个文件及文件夹，都有相应的管理功能，如重命名、下载、复制、查看文件大小、删除等，针对文件还有在线查看功能，方便管理员进行管理操作。

图表 1.2.15

2.3、任务镜像

2.3.1、公共镜像

由管理员上传的镜像为公共镜像，用户都可以看到并且可以在创建任务时使用。管理员在“下载镜像”中下载的镜像和上传的镜像均在此界面管理。此界面中管理员可对公共镜像进行设置删除、二次更新制作镜像及查看镜像详细信息等操作。

图表 1.2.16

上传镜像

管理员用户在镜像仓库页面，也可以上传公共镜像。

2.3.2、镜像仓库

管理员在镜像仓库页面，可以查看各用户的私有镜像，或上传公共镜像

查看镜像仓库

上传镜像

管理员用户在镜像仓库页面，也可以上传公共镜像。

查看镜像仓库

在镜像仓库列表中，点击任意用户名，即可进入用户的镜像仓库中查看用户的私有镜像。

图表 1.2.19

2.3.3、下载镜像

点击“下载镜像”，进入以下界面，该界面有 “ Docker Hub ”、“ HP 机器学习镜像”和 “NVIDIA镜像” 三个功能页面。用户可根据自己需要的镜像环境去 Docker 官方镜像仓库Docker Hub、HP 机器学习镜像仓库和 NVIDIA 镜像仓库下载指定镜像。

图表 1.2.20

HP 机器学习镜像

此功能页预留了官方制作好的镜像，包括 Caffe、Cuda、OpenVINO、PyTorch、TensorFlow-gpu 等11个镜像系统。每个镜像版本完整，并和官方机器学习框架 Release 保持一致，用户可直接使用。

图表 1.2.21

NVIDIA 镜像

允许用户查看 NGC 镜像列表，下载使用 NGC 上 NVIDIA 提供的镜像。

图表 1.2.22

2.4、用户权限

2.4.1、用户

点击左侧菜单“用户权限-用户”，进入用户管理界面。管理员用户可以对用户创建、删除、编辑以及配置分区、存储卷和资源配额等，对用户的 CPU 、 GPU 、 Mem 和存储配额进行设定，限定用户能使用的资源数量。用户的数据存储空间相互隔离，每个用户只能访问各自空间中的数据，无法越界访问未授权的数据。

图表 1.2.23

查看用户

在用户管理界面，可以查看每个用户的手机号码、邮箱地址、创建时间、创建人、修改时间、修改人、绑定的分区以及用户组名。

图表1.2.24

点击“操作”按钮 -> 查看数据卷与配额，可以查看用户的资源配额限定情况。

图表 1.2.25

点击“查看关联角色”。

图表 1.2.26

点击“修改用户信息”，可对已有用户的手机号、邮箱、用户组、分区和配额进行修

图表 1.2.27

点击“重置密码”，可重置用户密码。管理员可以通过两种方式重置用户密码。一种是系统自动生成密码。如使用这种方式重置密码，管理员只需点击“重置密码”按钮即可在界面上看到新密码；另一种重置密码方式为管理员手动修改密码，只需输入两遍新密码，并点击“提交”按钮，即可修改此用户的密码。

表 1.2.28

点击“删除”，可删除用户。

2.4.2、用户组

修改默认配额

管理员用户可以点击用户列表页面上的“修改默认配额”按钮，来修改创建用户时默认的可使用资源配额。如 CPU 、 GPU 、内存、存储和任务数量的默认配额。

图表 1.2.30

创建用户

点击“创建用户”按钮，进入“创建用户”界面后，需要填写用户的基本信息和配置用户组、数据卷、分区等参数。CPU 、GPU 、内存、存储等参数默认使用默认配额中的配置。

图表 1.2.38

2.4.2、用户组

管理员用户在用户组页面，可以查看、创建和删除用户组。

图表 1.2.32

查看用户组

点击“查看关联角色”，显示该用户组的所有角色。

图表 1.2.33

点击“查看该组用户”，显示该用户组的所有用户。

图表 1.2.34

创建用户组

管理员在用户组列表页面，点击“创建用户组”按钮进入创建用户组界面，输入用户组名（用户组名长度1-20个字符，不能包含字符”, ‘|’, ‘*’, ‘?’, ‘,’，’/’。），选择不同模块的权限，最后点击“提交”按钮创建新的用户组。点击“取消”按钮取消创建用户组，回到用户组列表页面。

图表 1.2.35

各个功能模块不同角色的权限参照下表：

图表 1.2.36

2.5、监控中心

2.5.1、仪表盘

仪表盘提供了多维度和多层次的监控信息，使系统使用透明、可追踪。管理员用户在左侧菜单栏中选择仪表盘，即可查看节点和分区的资源使用情况。

节点查看

点击节点页面的“查看”，可以针对某个节点监控信息进行查看。

图表 1.2.38

分区查看

点击分区页面的“查看”，可以针对某个分区监控信息进行查看。

1、资源创建与分配

2.5.2、监控报表

在当前界面可以选择 HP AI 开发平台的节点、分区等选项来监控资源利用情况呈现可视化图表。

图表 1.2.40

2.5.3、实时信息

在当前界面可以选择 HP AI 开发平台 GPU 用途分布、GPU 使用概况、GPU 使用分布等可视化图表。

图表 1.2.41

管理员可以查看 GPU 的用途分布统计（任务训练、交互式使用、可视化、空闲使用）。

管理员可以查看 GPU 的分区使用统计（总共使用，每个分区使用）。

管理员可以查看 GPU 的用户使用统计（总共使用，每个用户使用）。

管理员可以查看节点 GPU 使用概况（总数、空闲、已占用），以及每一块 GPU 卡的使用率和显存使用率。

2.5.4、历史统计

在当前界面可以查看 HP AI 开发平台用户资源使用统计图表。

图表 1.2.42

2.6、系统设置

GPU 配置

在当前界面可以选择 HP AI 开发平台 GPU 类型、切片数量。

图表 1.2.43

输入切片数量，点击“确认”后，即可为 GPU 切片。

图表 1.2.44

2、实验:人脸活体检测和自然语言文本分类

在本章节，智东西公开课AI教研团队将作为管理员，分配不同的账户资源给到两位 Kaggle Grandmaster 进行模型开发实验，并在平台后端监测相应的资源使用情况和反馈。

1、资源创建与分配

1.1、创建分区 kaggle

图表 2.1.1

图表 2.1.2

1.2、创建用户组 viewers

图表 2.1.3

图表 2.1.4

1.3、创建用户 master1、master2

图表 2.1.5

图表 2.1.6