1.H3C CloudOS 7.0云操作系统 - E7108-5W105
1.1 运营指南
1.1.1. 运营流程
旨在指导管理员如何进行产品配置(包括产品规格上架、计费策略配置、产品展示布局等)、用户管理(组织和项目管理、用户创建、流程和消息管理)、产品使用管理(资源管理、订单管理、账单管理等)运营所需配置,使管理员能够顺利的完成本系统运营功能的定制。
运营管理流程
1.1.2. 前期规划
1.1.2.1 产品及产品规格规划
运营管理员需规划好待上架的产品,包括产品名称、规格和计费策略。
产品规格提供了用户在申请/购买产品时可以选择的资源规格(如CPU、内存大小等)。运营管理员需确保云环境中的资源可以使所规划规格的产品正常运行,即当用户购买所规划规格(如1核CPU、10G内存)的产品时,云环境中的可用资源需满足CPU≥1核,内存≥10G。
本系统中提供了对各产品的计费功能配置,运营管理员需创建产品及规格等属性,配置计费策略并上架,用户即可对符合该规格的产品进行计费。
支持在本系统中购买该规格的产品。例如:设置组合规格1核CPU/2G内存的计费策略为10元/h,则用户购买规格1核2G的云主机后,需按照10元/h的标准来支付费用;单项规格10核CPU为100元/h,100G内存为200元/h,则用户购买规格10核100G的云主机后,需按照300元/h的标准来支付费用。
还支持将云环境中已创建的云主机、裸金属、云硬盘、弹性IP实例纳管到本系统中,根据本系统的计费策略计费,并生成订单/账单。沃云仅支持纳管云硬盘和弹性IP实例。
本系统提供预置产品和自定义产品两种方式供运营管理员选择。
预置产品包括云主机、裸金属、云硬盘、镜像、公网IP和防火墙,且包含多种组合规格,运营管理员可按需配置计费策略。如预置产品的规格无法满足需求,运营管理员可以将已纳管云环境中的规格同步到本系统中。
如预置产品无法满足需求,还支持自定义产品,如新增云服务产品(DNS等)及规格,并配置计费策略。
1) 产品规划
产品逻辑图如下:
目录:用于对产品进行分类,顶层目录为“根目录”。系统默认存在预置目录和线下目录,如无法满足需求,支持自定义目录,可以在预置目录/线下目录下划分子目录,也可以在根目录下划分预置目录/线下目录同级的子目录,便于更细粒度的分类产品。
预置目录:本系统提供了计算、存储、网络、安全预置目录,目录下包括云主机、裸金属、云硬盘、镜像、公网IP、防火墙子目录,子目录中包含对应的产品和规格。
线下目录:当运营管理员需要提供给用户的产品不是本系统已定制的产品时,例如DNS,可在此目录下创建。
可售卖项:每一个产品的唯一标示符,对于本系统而言,可售卖项包括产品的规格和计费策略,不同的规格对应不同的可售卖项,本系统根据可售卖项进行计费。
例如:目录为“计算”,子目录为“云主机”,产品/可售卖项为“云主机/CPU_MEM”,其配置为1核2G规格的子产品名称/子可售卖项即为“云主机_1核_2G/CPU_MEM_1_2”。设置其计费策略为10元/h,则用户购买规格1核2G的云主机后,需按照10元/h的标准来支付费用。
2) 产品规格规划
产品规格逻辑图如下:
属性:构成产品规格的各属性,包括属性类型、属性值以及是否计价。例如,CPU类型的属性,其值可以为1核或2核等。值,作为产品计量计费的依据。计价,该规格的产品是否需要收取使用费用。
属性集:若干个属性的集合。例如,云主机属性集中包括CPU属性和内存属性。新建父产品/父可售卖项时通过选择属性集筛选其所需的属性,新建子产品/子可售卖项时通过选择属性的值配置其规格。
1.1.2.2 组织结构规划
组织是对以租赁方式使用云资源的团体的统称,不同组织间资源隔离。运营管理员纳管云环境后,云环境中运营管理员的下级组织机构和各组织配额会自动同步到本系统中。如需要修改各组织配额或有新增组织需求,需首先进行组织规划,包括根组织规划和组织机构规划;如需同步云环境的运营管理员角色,需纳管成功后手动同步。其中根组织是所有组织的“根”组织。运营管理员需要对本系统中的所有组织进行统一规划,以便对各项云资源进行分配。
- 系统超级管理员“admin”用户为根组织的成员。
- 云环境已纳管到本系统后,在本系统新建的组织/用户会自动同步到云环境中,但云环境中新建的组织/用户就不会再同步到本系统中了。
1) 组织规划
运营管理员定义资源配额。具体规划内容如下:
名称:组织的名称。
资源配额:纳管云环境后,系统会自动统计各云环境全部的计算、存储、网络资源,并同步到本系统中。根组织规划是对各云环境在本系统中可用的各云资源总数量进行额度限制,可规划配额的云资源如下图所示。
2) 组织权限和配额规划
组织机构规划包括组织、组织权限、组织配额、用户的规划。
组织是云资源分配的最小单位,可根据需求规划多层级的组织架构,不同组织下的资源隔离,且子组织的资源配额总和不能超过父组织的资源配额。其中,根组织是所有一级组织的父组织,该组织的管理员为超级管理员。
组织权限是指该组织可申请购买后所得的产品权限。
组织配额是指对该组织可用的各种云资源数量进行额度限制。
用户是指可以登录管理控制台并管理和使用云资源的人,在本系统中又指组织管理员。一个用户应属于一个组织或项目,用户对所在组织或项目的资源拥有使用权限。此外,用户需要被授予成为运营控制台中的角色,可以对角色拥有的运营控制台功能进行操作。
组织机构规划具体内容包括以下内容,组织、用户的层级关系如下图所示。
各组织之间的隶属关系
各组织的资源配额
各用户与各组织间的隶属关系
图-1 组织规划层级关系
1.1.3. 产品管理
- 新建节点
- 新建产品
- 配置产品属性
- 新增售卖项
- 新建配额
- 管理维护
- -管理节点
- -管理产品
- --管理产品属性
- --管理产品组件
- --管理产品规格
- --管理产品节点
- --管理产品售卖时长
- --管理产品计费方式
- --管理产品计费方式保护期
- --管理产品规格族
- -管理售卖项价格
- -管理配额
- -管理可见性设置
- --查看用户的可用性设置
- --管理用户计费方式
- --管理用户的计费方式保护期
- --管理用户的特殊价格
- --管理用户的特殊产品
- -用户目录管理
- 应用创新
- -服务魔方审核
- -魔方市场云产品
1.1.4. 组织管理
- 新建组织
- 新增用户
- 配置用户归属
- 新建审批流程
- 管理维护
- 账号中心
- -管理用户
- 管理权限
- -IAM管理
- 策略管理
- 能力管理
- -企业中心
- 配额模板
- 组织管理
- --管理组织基本信息
- --管理组织成员
- --管理组织权限
- 管理组织配额
- 管理流程
1.1.5. 已购产品管理
- 订单中心
- 资源中心
- 计费中心
- 优惠管理
1.1.6. 工单管理
- 工单提交/处理流程
- 问题分类制定
- 发起工单
- 处理工单
- 管理维护
- -管理工单设置
- -管理工单
1.1.7. 消息中心
- 消息中心
- 公告管理
1.1.8. 系统管理
- 菜单管理
- 模块管理
- 权限策略
- 模块管理员列表
- 用户权限管理
- 外观配置
- 系统配置
- Ukey配置
- 第三方认证配置
- -新建AD/LDAP认证配置
- -管理第三方认证配置
- 模块配置中心
- 服务配置
- 系统日志
1.2 用户指南
- 安全组
- 虚拟专有云
- 弹性公网IP
- NAT网关
- 共享带宽
- 对等连接
- 云联网
- 云解析
- VPN网关
- 云专线
- 云边界防火墙
- 高可用虚拟IP
- 负载均衡
- 高性能负载均衡
- 全局负载均衡
- 弹性云主机
- 弹性伸缩
- 云硬盘
- 裸金属服务
- 文件存储
- 对象存储
- 云容器引擎
- 容器镜像仓库
- 持续交付
- 应用管理
- 微服务引擎
- 应用诊断
- 项目协作
- 服务网关
- 消息队列ActiveMQ
- 消息队列Kafka
- 消息队列RabbitMQ
- 消息队列RocketMQ
- 应用协调服务ZooKeeper
- 日志服务
- MySQL数据库
- MongoDB云数据库
- PostgreSQL云数据库
- Redis云数据库
- SQL Server云数据库
- InfluxDB云数据库
- Elasticsearch
- 漏洞扫描
- WAF
- 云防火墙
- 主机安全
- 数据库审计
- 日志审计
- 堡垒机
- 服务器安全监测
- 态势感知
- 网页防篡改
- 密钥管理
- 统一身份认证
- 测试云服务
- 云监控
- 服务魔方
- 魔方市场云产品
- 云编排
- 用户控制台常用功能
- 数据库迁移服务DMS
1.3 运维指南
运维管理控制台(Operation Management Console,简称OMC),面向运维人员,以数据为核心,通过运维数据中台,提供精准、快速运维数据处理能力;支持通过LDAP进行多租户管理、鉴权;提供计算、存储、网络、数据库等产品的性能分析、容量预测、异常告警,帮助运维人员全面了解物理资源、虚拟资源健康情况,方便运维人员快速定位问题,保障平台侧、客户侧资源顺畅运行。
整体架构
运维平台功能
平台整体功能组成分为如下三个层级。
- 基础设施管理层
管理运维平台的资产对象,包含各节点运行管理的管理对象,包括服务器、计算存储资源、网络设备、系统应用软件、中间件、虚拟化资源池等。通过IT资产配置管理中心CMDB,实现底层数据拉通,提供配置信息的消费、监控纳管设备信息自动发现及同步。 - 云资源管理层
实现云上使用物理资源管理;实现计算、存储、网络云产品运维管理,基于运维平台,统一完成对日常运维服务的支撑。 - 业务运维管理层
支持统一告警管理,所有运维信息同前端客户信息关联绑定,统一纳管、统一告警;支持链路日志、运行日志管理。
- 运维场景
- -日常运维场景
日常运维场景下,运维人员可以完成如下运维任务:
告警管理,监控管理,日志管理,云监控管理
- -资源运维场景
作为云平台管理系统,整个系统的资源可以分为基础设施、节点及可用区、容量资源三个层级。相应的运维任务包括:纳管与迁移,基础设施运维,CMDB,容量管理
- -交付运维场景
运维人员可以对系统交付的服务进行定制,也可以对各项交付作业进行处理。
具体可见:产品控制台,作业管理
- -系统管理
运维人员对运维平台的各项数据进行配置和管理,也可以对平台发布信息进行管理。
具体可见:系统配置,消息管理
- 日常运维
-
告警管理: 告警概览,监控告警管理,告警历史管理,告警规则管理,事件告警,告警联系人管理,告警通知管理,联邦配置
-
监控管理: 监控配置集,监控数据,监控指标,Trap监控
-
日志平台: 查询链路日志,运行日志,登录日志,操作日志,存储设置
-
云监控管理: 基础管理,云资源监控管理,租户管理
-
安全平台
- 安全产品: 堡垒机管理, Web应用防火墙管理
- 安全产品基础配置: 堡垒机基础配置管理,Web应用防火墙基础配置管理,漏洞扫描基础配置管理,服务器安全监测基础配置管理,日志审计基础配置管理,数据库审计基础配置管理,网页防篡改基础配置管理,态势感知基础配置管理
- 纳管与迁移
云计算管理平台(Cloud Automation System)是构建云计算基础架构的管理软件,它为数据中心云计算基础架构提供完善的虚拟化和云业务运营管理解决方案,用于实现数据中心云计算环境的中央管理控制。
节点纳管与迁移基于前期底层资源设备做好的迁移准备,旨在通过界面操作,将非本系统的云计算管理平台上的虚拟机迁移到本系统,实现统一管理。
- 节点纳管与迁移
目前支持同构迁移、异构迁移、节点纳管、虚拟机迁移日志、VPN迁移和弹性公网IP迁移。
- 同构迁移:
即同平台同节点上,不同虚拟机之间进行数据迁移,方便对数据统一管理。
- 异构平台:
在异构平台中对节点进行管理
- 基础设施管理
- 计算资源管理:
存储集群管理,集群管理,主机管理,日志管理
计算集群预配置: 资源标签管理,GOS管理,超分比管理,启动集管理,实例规格管理
计算实例管理: 查看裸金属实例,云外裸金属,虚拟机实例管理,云硬盘管理,对象存储管理,文件存储管理
镜像库存管理: 对象存储管理,文件存储管理
- 网络资源管理:
- 网络设备管理
- 交换机管理
- 路由器管理
- 网络资源预配置
- -地址池管理
- -VLAN池管理
- -VXLAN池
- -公网管理
- 预留IP
- DNS配置
- 租管互通预配置
- 节点网络纳管
- 可用区网络纳管
- 网络纳管日志
- 网络实例管理
- -虚拟专有云
- -子网管理
- -安全组管理
- -虚拟端口
- -弹性公网IP
- -NAT网关
- -负载均衡
- -高可用虚拟IP
- -查看VPC对等连接
- -流量镜像
- -二层接入
- -三层路由
- -FRR快速重路由
- 公共服务
- 编排服务
- 定时服务
- 巡检服务
- 节点管理
- 节点管理
- 可用区管理
- CMDB
- 又叫IT资产配置管理中心,是运维过程中对物理资源、虚拟资源、标签、物理位置等进行统一管理,为监控、自动化等场景提供可靠的资源对象和数据支持。
- CMDB提供手动录入功能并可批量录入,将资源信息进行标准化处理和整合,准确地维护资源信息及资源间的关联关系,并记录资源信息的变化过程及实时生命状态。遵循灵活、可扩展、开放性的原则,平台预置部分资源模型,支持自定义资源模型,开放数据字典的设计和编排能力给用户,并对外提供API接口,为其他平台提供基础数据。
- 当前CMDB提供的主要服务包括:
- 支持计算、存储、网络设备等物理资源基础设施的管理,实时抓取服务器状态,跟踪资源全生命周期。
- 支持模型管理,支持用户自定义模型扩展。
- 为告警平台、资源编排纳管、配置管理提供基础数据。
- 支持机房机柜全生命周期管理。
- 拉通监控、流程、智能分析平台数据,实现运维数据一体化消费场景,提高运维效率。
- 全文检索
- 资源管理
- 资源目录
- 资源的管理维护
- -物理资源管理
- -虚拟资源管理
- -逻辑资源管理
- -其他资源管理
- 模型管理
- -模型详情管理
- -模型关联管理
- -关联关系管理
- 节点管理
- 机房管理
- 运营分析
- -运营统计
- -资产查询
- -操作审计
- 容量管理
- 容量视图
- -计算资源
- -块存储
- -对象存储
- -EIP资源
- -SLB资源
- -VPC资源
- -网络设备
- -文件存储
- -防火墙资源
- -安全资源
- 容量告警
- -计算资源容量告警
- -块存储容量告警
- -对象存储容量告警
- -EIP资源容量告警
- -SLB资源容量告警
- -VPC资源容量告警
- -网络设备容量告警
- -文件存储容量告警
- -防火墙资源容量告警
- -安全资源容量告警
- 基础配置
- -计算资源容量统计配置
- -块存储容量统计配置
- -对象存储容量统计配置
- -EIP资源容量统计配置
- -SLB资源容量统计配置
- -VPC资源容量统计配置
- -网络设备容量统计配置
- -文件存储容量统计配置
- -防火墙资源容量统计配置
- -安全资源容量统计配置
- 交付运维
- 产品控制台
- -交付中心管理
- -通用配置管理
- -用户资源管理
- 控制台操作日志
- -作业平台
- -作业管理
- -应用管理
- -客户端管理
- -工具管理
- 系统管理
- 系统配置
- -角色管理
- -系统用户
- -软件授权
- -服务集市
- -菜单管理
- -身份认证
- -品牌外观
- -系统设置
- 消息中心
- -系统公告管理
- -公告类型管理
- 能力开放中心
2.H3C Cloud CMP云管理平台 - E1164-5W110
H3Cloud CMP云管理平台(以下简称CMP)是一个混合云管理平台,能同时管理多个私有云及公有云。CMP以服务组件的方式部署在CloudOS PLAT 5.0之上。CloudOS PLAT 5.0是经过容器优化的企业级云管理基础系统平台,拥有插拔式的开放架构,提供平台服务能力以及用户应用的高扩展性;具备高性能可扩展的容器能力,提供面向云服务和用户应用的统一应用程序管理;同时,使应用程序架构现代化,从而提供微服务,并借助敏捷和DevOps方式加快应用交付。
2.1 部署介绍
2.1.1 部署模式
2.1.2 组网方案
2.1.3 运行环境
2.1.4 共享存储卷准备
2.1.5 IP地址准备
2.1.6 安装包准备
2.1.7 NTP服务器准备
2.2 安装CloudOS PLAT 5.0集群
- 在服务器安装CloudOS PLAT 5.0时,建议选用UEFI模式。但某些型号比较旧的服务器对uefi支持不够,例如华为imana 200型号服务器,在安装时加载不出图形界面,此时请切换为legacy模式,然后进行安装。
- 安装部署开始前,请用户正确设置服务器(虚拟服务器请设置宿主机)的系统时间,并将几个服务器时间与现实时间同步。安装部署完成后再修改系统时间会造成部分服务组件异常。
- 安装部署开始前,请用户正确设置服务器的磁盘RAID配置,安装时必须使用完成RAID配置后的第一块盘作为系统盘。通常为系统盘配置成1个RAID,两块数据盘分别配置RAID0。
- 启动服务器并挂载CloudOS PLAT 5.0安装盘。
- 选择从光驱引导后,选择“Install H3Cloud”选项。
安装iso时只需要安装系统盘即可,CloudOS PLAT 5.0会对系统盘进行自动分区,切勿手动更改分区。系统盘必须选择第一块盘(如sda),否则会造成操作系统启动失败。
在配置过程中请勿对除 “SOFTWARE SELECTION”和“NETWORK&HOST NAME”之外的配置项进行配置,否则可能会造成后续部署CloudOS PLAT 5.0组件失败。 - 点击“SOFTWARE SELECTION”配置项,选择要安装的软件包,选择“H3C CloudOS Node”软件包. Development Tools:包含一些编译工具,例如gcc、kenel-develop等。此选项默认不勾选,可不安装。
- 点击“NETWORK & HOST NAME”配置项. 集群模式下三个节点的服务器主机名不能相同,主机名应由小写字母或数字组成,必须以小写字母开头,可以包含括号中的英文符号(-.),且不能使用“controller、masters、worker、master、new_nodes、etcd、nodes、new_masters”关键字。
- 要配置的网卡,注意,这里的Connection name不建议更改,要求必须以e开头
- 选择“General”选项卡,选中“Automatically connect to this network when it is available”选项
- 选择“IPv4 Settings”选项卡,在“Method”下拉菜单中选择“Manual”选项,配置IPv4地址、掩码、网关,并选中“Require IPv4 addressing for this connection to complete”选项
- 操作系统的缺省用户名和密码为:root/Passw0rd@_。
- 修改容器网络(可选)
系统默认占用了三个网段作为平台集群内部使用地址,分别为10.240.0.0/12(缺省容器网段)、10.100.0.0/16(缺省K8S服务网段)、172.17.0.0/16(缺省docker网桥网段),若规划的IP地址与系统使用的容器网络地址段冲突,需要参考本步骤修改系统容器网络。
修改容器网段和K8S服务网段举例说明:
举例说明,对系统所使用的Service Cluster IP网段10.100.0.0/16进行修改,修改为10.101.0.0/16。同理可修改系统pod使用的10.240.0.0/12网段,注意掩码保持和原来一致即可。
在所有节点上修改文件:/opt/openshift/openshift-ansible/inventory/hosts.cloudos.tmpl。
搜索并修改openshift_portal_net=10.100.0.0/16为openshift_portal_net=10.101.0.0/16。 - 查NetworkManager服务状态
在安装完操作系统后,需要确保NetworkManager服务为正常运行状态,否则会导致CloudOS PLAT 5.0集群部署失败。检查方法如下。
执行命令systemctl status NetworkManager,如果状态不是正常运行,则执行命令systemctl enable NetworkManager和systemctl start NetworkManager,启用NetworkManager服务并使其正常运行。 - 重复安装剩余的节点
- 选择使用某个节点登录GoMatrix部署服务组件,登录后此节点即被指定为CloudOS主集群的Master节点。
- 启动浏览器,在地址栏中输入http://< 某个节点的ip_address>:9091打开“GoMatrix”安装部署页面。
- 部署节点
- 单击<部署>按钮,进入集群的基础配置页面,如下图所示。配置“集群网虚IP”、“管理网虚IP”和NTP服务地址,并单击<下一步>按钮。要求虚服务IP地址配置相同。
- 集群网虚IP:即CloudOS PLAT 5.0集群网络的虚服务地址,供集群节点之间内部通信使用,可不对外开放访问。
- 管理网虚IP:即CloudOS PLAT 5.0管理网络的虚服务地址,登录CloudOS PLAT 5.0管理页面使用。
- NTP服务地址:缺省为主节点的管理IP地址,如果需要指定外部NTP服务器,则这里填写外部NTP服务器地址。
- 在“选择部署节点”区域中,选择主节点的集群IP,然后填写已完成步骤4 的CloudOS PLAT 5.0节点的集群网IP、用户名与密码,单击<添加>按钮,将节点加入集群。推荐添加节点后的数量为3或5。
CloudOS PLAT 5.0集群部署完成后,启动浏览器,在浏览器的地址栏中输入管理网_vip_address,打开CloudOS PLAT 5.0登录页面。
2.3 部署CMP组件
2.3.1 部署系统组件harbor
为系统使能所需云服务, 添加共享存储卷
当上传部署云服务安装包时,需首先上传部署harbor系统组件。
当上传部署PaaS安装包时,需首先上传部署nexus系统组件。
-系统-菜单项,-服务与组件-菜单项,在点击-部署向导-子菜单,进入部署向导页面。
按照屏幕上方提供的安装包上传地址,使用sftp工具上传安装包到该目录
部署harbor、nexus和PaaS都需要使用外部存储卷,部署CMP服务组件无需额外存储卷。
(1)在顶部导航栏中单击-系统-菜单项,进入系统管理页面。
(2)单击左侧导航栏树-系统维护-展开菜单项,单击-资源-菜单项,单击Default集群名称链接,在集群详情右侧区域选择-存储-页签,进入存储管理页面。
(3)选择“NFS”、“iSCSI”、“FC”或“ceph”,单击<添加存储卷>按钮,配置以下参数,单击<确定>按钮。
2.3.2 部署CMP业务组件
登录系统后会提示没有云服务,单击-部署云服务-,也可通过-系统/服务与组件-菜单进入部署云服务页面
-系统-菜单项,-服务与组件-菜单项,在点击-部署向导-子菜单,进入部署向导页面。
按照屏幕上方提供的安装包上传地址,使用sftp工具上传安装包到该目录
2.3.3 部署PaaS组件(可选,仅CMP和PaaS混合场景)
- PaaS部署的方法和CMP组件部署的方法一致。
- 安装包上传:上传PaaS组件包以及nexus组件包。
- 需首先部署nexus插件,完成后再部署PaaS业务包。
2.3 CMP服务配置
- 基础配置
- 纳管云
-云运营/云管理/云纳管-菜单项,进入云纳管页面。
标题 | 说明 |
---|---|
云类型 | 公有云:可以选择阿里公有云。专有云:支持选择紫光云、H3C、华为云、沃云、浪潮云、移动云、阿里专有云、openstack。线下云:支持自定义配置线下云。 |
纳管类型 | 分为“运营型”和“监控型”两种。目前仅支持选择“运营型”。运营型:纳管此类型的云环境后,CMP系统可以对其云资源(云主机、云硬盘等)进行创建、申请、删除等操作。监控型:纳管此类型的云环境后,CMP系统仅可查看云资源,不能进行更多操作。 |
- 组织配额管理
- 运营配置
- 充值(仅支付模式需要执行此步骤)
- 产品规格上架
- 资源纳管计费
- 云主机纳管计费
- 云硬盘纳管计费
- 弹性公网IP纳管计费
- 创建云服务
2.4 对接ONEStor RBD存储
块存储简称RBD(RADOS Block Device),是一种有序的字节序块,也是ONEStor提供的一种为常用的存储方式。CloudOS PLAT5.0通过支持ONEStor RBD,为容器提供了基于块存储的存储解决方案。
在使用ONEStor RBD之前,需要在CloudOS PLAT 5.0节点上手动执行脚本进行如下相关配置。
2.4.1 部署CloudOS平台组件前配置
登录CloudOS PLAT 5.0集群主节点后台,进行如下操作步骤。
(1) 设置ONEStor服务端信息
a. 修改/opt/onestor-config/get-onestor-info.sh 脚本变量:ONEStor服务端监视器IP地址,用于登录ONEStor后台的用户名、密码。
onestor_ip=10.125.41.234
onestor_username=root
onestor_password=Admin@123stor
b. 修改onestor存储系统配置文件位置。文件在ONEStor存储系统中一般默认存放在以下路径,请在ONEStor服务器上确认是否存在。
onestor_keyring=/etc/ceph/ceph.client.admin.keyring //ceph.client.admin.keyring文件绝对路径
onestor_conf= /etc/ceph/ceph.conf //ceph.conf文件绝对路径
(2) 配置CloudOS PLAT 5.0主机文件。
主机文件路径:/opt/onestor-config/inventory/inventory.yml
配置模板如下:
all:
hosts:
node145: #CloudOS PLAT5.0主机名,必须设置成和实际主机名称一致
ansible_host: 10.125.30.145 #IP地址 access_ip和ip 三者保持一致
access_ip: 10.125.30.145
ip: 10.125.30.145
ansible_ssh_user: root #CloudOS PLAT5.0主机用户名
ansible_ssh_pass: cloudos #CloudOS PLAT5.0主机密码
node146:
ansible_host: 10.125.30.146
access_ip: 10.125.30.146
ip: 10.125.30.146
ansible_ssh_user: root
ansible_ssh_pass: cloudos
node147:
ansible_host: 10.125.30.147
access_ip: 10.125.30.147
ip: 10.125.30.147
ansible_ssh_user: root
ansible_ssh_pass: cloudos
children:
onestor:
hosts:
node145: #主机名称,注意后面一定要冒号
node146:
node147:
(3)运行脚本start.sh。
进入/opt/onestor-config/目录,
先执行如下命令,node145替换为实际环境的主节点名称。
ansible node145 -i ./inventory/inventory.yml -m ping -vvv
再执行start.sh脚本,命令为:sh start.sh。
如果执行start.sh脚本的时候出现:TASK[Gathering Facts],且一直卡顿,是因为ansible搜集各节点基础数据的过程比较慢,特别是节点多的时候。
可以在脚本/opt/onestor-config/config-ceph.yml 中添加如下配置,解决卡顿问题。
·以下为脚本已有配置,不用调整。
- hosts: onestor
roles:
- { role: onestor-config }
·以下为需要增加的部分,表示取消搜集各操控节点信息。
- hosts: localhost
gather_facts: false
(4) 确认配置成功。
在某节点/etc/ceph目录下查看,如果出现以下文件,则说明安装成功。
ceph.client.admin.keyring
ceph.conf
2.4.2 部署CloudOS PLAT 5.0平台组件后新增节点配置
配置新增节点对接ONEStor rbd存储。
(1)确保各个节点密码相同,缺省后台root密码均为Passw0rd@,如果没修改过root密码,可忽略此步骤。如果各节点密码不一致,则需在文件/opt/onestor-config/gen_host.sh 修改节点密码,如下:
os_node_password=Passw0rd@
(2)修改/opt/onestor-config/add-node.sh脚本:替换/opt/onestor-config/add-node.sh脚本中的“--limit node1,node2”字段。“node1,node2”为主机名,可以一次性添加多个主机,用英文逗号隔开。
例如:新增加节点的主机名为worker1,则修改为“--limit worker1”
(3)进入/opt/onestor-config/目录,执行如下命令,worker1需替换为新增节点的主机名。
ansible worker1 -i ./inventory/inventory.yml -m ping -vvv
(4)运行脚本:sh add-node.sh。注意,执行的时候需先进入/opt/onestor-config目录。
如果执行脚本卡在如下地方,可Ctrl + C先终止脚本执行,再执行一遍第(3)步的命令,然后再运行此脚本即可。
(5)确认配置成功。
在新增节点/etc/ceph目录下查看,如果出现以下文件,则说明配置成功。
ceph.client.admin.keyring
ceph.conf
(6)后续新增节点需重复步骤1到步骤5完成配置。
2.4.3 在ONEStor平台创建存储卷
登录ONEStor管理平台,在左导航树单击-块存储/卷管理-,创建平台和各云服务需要的共享存储卷。存储卷名称即为添加ceph共享存储时需要用到的image名称。创建存储卷的具体步骤请参考ONEStor用户手册。
2.5 对接FC存储
在使用FC存储单路径和多路径场景时,都需要用到multipath服务
存储多路径配置
(1) 登录Master节点和Cluster操作系统,执行存储卷挂载操作后使用以下命令配置Linux内核加载multipath模块。
modprobe dm_multipath
modprobe dm-round-robin
(2) 使用vi命令编辑multipath配置文件,为如下内容
cat /etc/multipath.conf
blacklist {
wwid ".*"
}
blacklist_exceptions {
property "(ID_SCSI|ID_WWN)"
}
defaults {
user_friendly_names “yes”
path_checker "tur"
prio "const"
path_grouping_policy "group_by_prio"
no_path_retry 25
max_fds "max"
failback "immediate"
}
(3) 用以下命令启动multipath服务
systemctl start multipathd.service
(4) 查看多路径服务状态
systemctl status multipathd.service
(5) 存储卷映射
登录每个控制节点的操作系统,使用以下命令查看各服务器Online状态的FC接口及其WWN并记录,其中X会根据存储网卡的规格有所不同。0x后面的是WWN,即WWN是10000090fa40a551。
cat /sys/class/fc_host/hostX/port_state
Online
cat /sys/class/fc_host/hostX/port_name
0x10000090fa40a551
在存储设备上划分存储卷,并配置服务器与存储卷的映射关系。具体的配置方法请参看存储设备的使用文档,配置时会用到服务器FC接口的WWN。
(6) 存储卷发现
登录每个控制节点的操作系统,使用以下命令发现各存储卷。其中X会根据存储网卡的规格有所不同。如果服务器的HBA卡有多个端口连接了存储,即有多个host处于Online状态,那么这里需要对每个host执行相同的echo命令。
echo "1" > /sys/class/fc_host/hostX/issue_lip
(7) 查看存储连接状态,可见多条FC路径发现的卷及对应的LUN号、盘符等信息。
ll /dev/disk/by-path
(8) 通过盘符查询存储卷的WWID
(9) 在所有控制节点上编辑multipath.conf文件,将需要启用多路径的卷WWID填写到指定位置
cat /etc/multipath.conf
blacklist {
wwid ".*"
}
blacklist_exceptions {
property "(ID_SCSI|ID_WWN)"
wwid "36c0bfc0100a8d4888e0b141a00000015"
wwid "36c0bfc0100a8d4888e0b331500000017"
wwid "36c0bfc0100a8d4888e0b4e3900000060"
wwid "36c0bfc0100a8d4888e0b64e30000006a"
wwid "36c0bfc0100a8d4880d627cf700000074"
wwid "36c0bfc0100a8d4880d62923300000075"
}
defaults {
user_friendly_names “yes”
path_checker "tur"
prio "const"
path_grouping_policy "group_by_prio"
no_path_retry 25
max_fds "max"
failback "immediate"
}
(10) 重启多路径服务
systemctl restart multipathd.service
(11) 查看多路径生效情况
查看存储卷的多路径名称(自动分配)、盘符并找到盘符对应的lun号,再和存储侧的卷lun号比对,这样就可以找到存储卷对应的多路径名称,从而在部署时根据卷的用途进行选择。
比如,下面查到第一个卷的多路径名称是mpathe,对应的路径有两条,盘符分别是sdct和sdcw。
[root@h3cloud01 ~]# multipath -ll
mpathe (360003ff44dc75adcbe7175fce8bece20) dm-6 MSFT ,Virtual HD
size=50G features='1 queue_if_no_path' hwhandler='0' wp=rw
`-+- policy='round-robin 0' prio=1 status=active
|- 3:0:0:0 sdct 8:0 active ready running
`- 17:0:0:0 sdcw 8:220 active ready running
mpathd (360003ff44dc75adcaf5a6d7b5389d9d9) dm-2 MSFT ,Virtual HD
size=50G features='1 queue_if_no_path' hwhandler='0' wp=rw
`-+- policy='round-robin 0' prio=1 status=active
|- 18:0:0:0 sdh 8:236 active ready running
`- 4:0:0:0 sdp 8:16 active ready running
<省略部分输出>
再通过ll /dev/disk/by-path | grep sdct命令找到其lun号,lun号为0。即mpathe对应的存储卷为lun-0。然后在存储侧创建的卷里找到lun-0的卷,下面的部署步骤里就根据找到的对应关系选择存储卷的多路径名称。
(12) 存储卷格式化(可选)
在确定存储卷的多路径名称后,可通过如下命令对存储卷进行格式化操作。格式化操作只需要在一个节点上执行。
(13) 所有节点配置完成后可进行安装部署操作
2.6 存储卷格式化操作方法
- 在节点未启用multipathd服务的场景下,在后台直接通过查找/dev/disk/by-path路径下的盘符进行格式化。
-查看对应存储卷盘符,比如为sdf
ll /dev/disk/by-path
mkfs.ext4 /dev/sdf
- 如果存储卷被multipathd服务纳管(可使用multipath -ll命令确认存储卷是否被纳管),
可以在后台通过mkfs.ext4 /dev/mapper下的对应盘符进行格式化。
-确认存储卷是否被纳管
multipath -ll
如何找到多路径盘符和存储卷的对应关系?举例如下。
-可先通过找到存储卷对应盘符,如sdf
ll /dev/disk/by-path
再通过multipath -ll命令找到sdf所属的多路径名称,如下,为mpathf。
最后输入命令mkfs.ext4 /dev/mapper/mpathf即可。
3.H3C CAS云计算管理平台 - (标准版和边缘版)-E0770L01&E1002-5W103
H3C UIS 超融合管理平台提供两种部署场景:计算虚拟化和超融合架构。
- 计算虚拟化:仅部署虚拟化内核平台,不部署分布式存储,适用于使用外部 IP SAN 或 FC SAN
存储的场景。部署计算虚拟化至少需要一台服务器。部署完成后,所有服务器形成一个 UIS
计算虚拟化集群。 - 超融合架构:同时部署虚拟化内核平台和分布式存储的超融合架构,适用于计算存储网络虚拟
化超融合的场景。部署超融合架构至少需要两台服务器。部署完成后,所有服务器形成一个
UIS 超融合集群。
UIS 标准版(UIS Manager)支持“计算虚拟化”和“超融合架构”两种部署场景。
UIS 边缘版(UIS Edge)当前仅支持选择“超融合架构”场景进行部署。
3.1 初始化部署
当服务器完成 UIS 超融合系统的安装后,用户需要指定一台服务器作为管理节点,并为管理节点配置管理 IP 地址。
3.1.1 登录服务器后台,进入参数配置页面,
通过<↑><↓>键选择-Network and Management Interface-选项
弹出 Login 对话框,输入 root, 账户密码
root 账户密码如下:
• UIS 标准版(UIS Manager):UIS-E0715 之前版本密码默认为 root,UIS-E0715 及之后版本密
码默认为 Sys@1234。
• UIS 边缘版(UIS Edge):密码默认为 root。
单击-Enter-键,进入选择管理网网卡页面,根据规划选择目标物理接口作为管理网口。注意,
所选物理接口的状态必须是 connected
单击-Enter-键,进入设置静态 IP 页面,配置管理网 IP 地址、子网掩码、网关、主机名和 VLAN
ID 等信息,单击-Enter-键完成配置。
3.1.2 登录UIS超融合管理平台
在地址栏中输入IP地址,
进入 UIS 超融合管理平台登录页面
UIS 标准版(UIS Manager):UIS-E0715 之前版本密码默认为 admin,UIS-E0715 及之后版本, 密码默认为 Cloud@1234。
UIS 边缘版(UIS Edge):密码默认为 admin
进入 UIS 初始化部署引导流程的选择场景页面。
3.1.2.1 计算虚拟化部署
“计算虚拟化”和“超融合架构”两种
若初始化部署时选择“计算虚拟化”场景,则后续创建集群时,仅支持选择“计算虚拟化”场景。
目前 UIS 边缘版(UIS Edge)初始化部署时,暂不支持选择“计算虚拟化”场景。
- 选择主机, 自定义配置, 选择物理接口, 配置主机,
- 增加虚拟交换机, 增加虚拟交换机-配置主机网络, 配置物理接口对话框
- 外置存储配置, 顶部“主机”页签,选择-主机管理-主机名-菜单项-硬件配置-存储适配器
3.1.2.2 超融合架构部署
选择超融合架构,进入规划网络页面,设置相关参数
主机名起始序号,起始IP
3.1.3 配置 NTP 时间服务器
顶部“管理”页签,单击左侧导航树-NTP 时间服务器-菜
3.1.4 双机热备配置
如果初始化模式选择超融合架构,则必须为管理平台搭建双机热备
4.H3C ONEStor 3.0分布式存储系统
进行 ONEStor 软件的安装部署前,请检查服务器、RAID 卡、网卡、主存盘、缓存
盘等部件是否满足产品的兼容性要求。进行 ONEStor 软件的安装部署时,请确保作为集群节点的
- 基本维护原则
• 设备所在机房应保持整洁,温度和湿度符合设备运行要求,机房内不放置无关设备和物品。
• 了解操作系统和应用软件最近的更新情况,并根据需求更新软件。
• 制定可靠的备份计划。
-根据设备的运行情况,定时备份数据。
-如果数据频繁改变则需随时备份。
-定时检查备份以确保数据保存正确。
• 现场保留一定数量的备件,以便部件出现故障时可及时更换。备件使用后,请及时补充。
• 为方便解决组网方面的问题,请保存最新的网络拓扑图。 - 维护操作
a.日常维护任务: 监测机房温度和湿度 温湿度计
b.检查线缆 - 收集存储系统信息
当存储系统出现故障时,请尽可能全面、详细地记录现场信息(包括但不限于以下内容),收集信息越全面、越详细,越有利于故障的快速定位。
• 记录您所使用的软件版本、操作系统版本以及具体的联系人信息。
• 记录具体的故障现象、故障时间、故障前后执行的操作和配置信息。
• 记录完整的网络拓扑,包括组网图、端口连接关系、交换机型号和故障位置。
• 记录存储设备的型号和指示灯状态,尤其需要记录橙色和红色状态的指示灯信息。
• 收集日志信息和告警信息,具体方法请参见产品的日志和告警手册。
• 记录现场采取的故障处理措施及实施后的现象效果。 - 安全管理指南
4.1 块存储服务
数据库软件
4.2 文件存储服务
4.3 对象存储服务
4.4 CPU、主板和网卡(故障节点未关机)更换流程
-主机管理/存储节点-菜单项,进入存储节点管理页面。单击待操作的存储节点操作栏的更多/维护模式,若存储系统管理页面无法登录,请通过节点操作系统的命令行开启维护模式。
ceph osd set-osd noout osd_id
ceph osd set-osd noup osd_id
开启维护模式(其中,osd_id为待开启维护模式的OSD ID,可以根据实际情况输入多个,例如ceph osd set-osd noout 1 2 3和ceph osd set-osd noup 1 2 3)。
执行ceph –s命令进行检查,确认集群状态变为Health_WARN,且提示“noup,noout flag(s) set”
...
评论区