/Recent content in MSP云原生应用平台 on MSP DocumentationHugo -- gohugo.iozh/service-mesh/components/service-detail-link/Mon, 01 Jan 0001 00:00:00 +0000/service-mesh/components/service-detail-link//service-mesh/dashboard/Mon, 01 Jan 0001 00:00:00 +0000/service-mesh/dashboard/平台概览 # 概述 # 平台概览从平台级别视角来查看系统的整体接入情况和事件概览。使用不同的色彩表达不同的语义。 \(\color{#1890ff}{蓝色文字}\) 用来描述系统资源的接入情况，如：引擎数、服务数、日志 KEY 数量。 \(\color{#f56c6c}{红色文字}\) 用来描述近期发生的事件。 \(\colorbox{#52c41a}{绿色背景}\) 表示近期无新的事件需要关注。 \(\colorbox{#faad14}{橙色背景}\) 表示该指标事件数量介于 0 ~ 10 ，即：需要关注方引起注意，并进行问题排查。 \(\colorbox{#f5222d}{红色背景}\) 表示该指标事件未读数量大于 10，需要关注方着重注意。 最佳实践 # 用户登入平台后，如果看到所有需关注的事件都是 \(\colorbox{#52c41a}{绿色}\) ，表示目前系统运行良好，无新的未读事件上报。 如果登入平台后，发现有 \(\colorbox{#f5222d}{红色指标}\) ，则表示当前系统需要引起关注。用户可以点击对应的指标来查看对应的事件。 模块说明 # 顶部导航 # 顶部导航包含以下主要功能：产品功能快速导航、服务搜索、切换语言。 产品功能快速导航 # 通过“全部产品”功能，我们可以直达云原生应用平台的各子功能。同时，该模块还支持搜索操作。 服务搜索 # 当我们需要关心具体服务时，可直接通过服务的“名称”、“识别号”、“Hostname”信息在此进行搜索，直接进入到该服务的治理详情。 切换语言 # 通过点击对应的语种，我们可以很方便的切换语言。 左侧各大中心导航 # 通过点击各图标，来切换到不同的功能中心。 平台事件 # 待处理事件卡片汇总了三大中心的待处理事件。其数值为各中心的所有未读事件总和。点击对应的数值可以查看未读事件。 注：本平台的「运行评分」的具体算法暂未确定，根据平台运营一段时间后，进行数据采样分析后确定。 运行概览 # 运行概览卡片显示各中心的接入情况和各项指标的事件统计。结合之前提到的颜色语义和最佳实践来使用该功能，可以起到事半功倍的效果。 应用程序性能监控 # 显示服务的 APM（应用程序性能监控）信息排名，目前显示的信息有 服务负载排名，每分钟请求量 服务慢响应排名 服务健康度排名 点击服务名称可以弹出菜单，查看服务的更多详情 常用功能 # 常用功能为平台的快捷导航入口，后期也可收录其他常用链接，可以为 MSP 用户聚合平台内外的常用系统链接。/service-mesh/modules/register-center/dashboard/Mon, 01 Jan 0001 00:00:00 +0000/service-mesh/modules/register-center/dashboard/概览 # 简介 # 注册中心关注「注册中心引擎」的运行，对注册中心集群本身进行监控和度量，为其稳定运行提供监控和度量支撑。 除此之外，还可以在注册中心查看已注册的服务的运行情况。 最佳实践 # 进入注册中心模块后，需要关注「资源预警」数量统计和「近期事件」。 如果出现待处理事件，点击查看具体事件详情。 同时，我们可以在「本引擎详情」页面，查看引擎的资源消耗趋势。并通过时间筛选，来查看事件时间附近的资源消耗情况，进一步定位问题。 模块介绍 # 待处理和资源概览卡片 # 本卡片列出当前注册中心需要关注的监控事件和引擎概览，点击对应的指标后可以查看详情。 引擎状态卡片 # 通过引擎状态卡片，我们可以卡到当前注册中心引擎的运行概览，包括： 注册中心基本信息，包括：服务识别号、名称、类型、阈值、实践。 该引擎当前的资源概览，包括：节点数、注册服务 该引擎的运行概览，包括：资源预警 通过点击卡片的各项数据，可以进步查看详情，详情请查阅 《引擎详情》。 最近事件卡片 # 通过查看最近的事件，我们可以快速看到注册中心最近发生的事件信息，通过“查看更多”按钮，我们可以进一步查看具体的预警信息。参阅 《资源预警》 获取更多信息。/service-mesh/components/chart-timeline/Mon, 01 Jan 0001 00:00:00 +0000/service-mesh/components/chart-timeline//service-mesh/vocabulary/Mon, 01 Jan 0001 00:00:00 +0000/service-mesh/vocabulary/名词解释 # 以下列出服务网格产品中使用到的主要名词。 注册中心相关 # 静态注册中心 # 静态注册中心声明了各服务之间的拓扑、通道等逻辑关系信息，一般用于部署(确定部署结构)、调用权限查询(查看服务间是否有调用关系)等。 动态注册中心 # 当服务正常部署完成并正常运行后，在动态注册中心可见。其信息一般为动态信息，即服务存活时才有的信息，如服务地址信息、Hostname信息等。 资源预警 # 资源预警关注 CPU、内存的消耗情况。当消耗情况超过监控阈值时，触发资源预警事件。目前资源预警的类型包含： 服务资源兜底（CPU使用大于 80%，内存使用大于 80%） Sidecar 预警兜底（CPU 使用大于 80%，内存使用大于 80%） 服务资源兜底 # 由于服务容器资源紧张导致的预警，称之为：服务资源兜底 Sidecar 兜底预警 # 由于 Sidecar 容器资源紧张导致的预警，称之为：Sidecar 资源兜底 注册引擎 # 即提供服务与注册的工作负载集合，为了保证服务的高可用，一般注册引擎由多个引擎节点组成 服务治理相关 # 健康检查 # 各服务根据健康检查标准提供服务检查接口，MSP 定期检查服务的健康状态。 服务熔断 # 即限制不稳定资源的调用，让请求快速失败，避免影响到其它的资源而导致级联错误。 服务限流 # 即监控应用流量的 QPS 等指标，控制达到阈值的流量，避免应用被瞬时的流量高峰冲垮，从而保障应用的高可用性。 日志中心相关 # 日志KEY # 发送日志时需要有日志 KEY 才能进行发送。没有日志 KEY 或日志 KEY 错误，则发送日志时会被拦截，并触发日志的拦截事件。 KEY拦截 # 在日志 KEY 错误或未开启的情况下，尝试发送日志会触发拦截事件。 KEY限流 # 可以对指定的日志 KEY 设定速率上限，超出速率的日志会被丢弃，同时触发 KEY 限流事件。/container-cloud/modules/observability-center/application-monitoring/Mon, 01 Jan 0001 00:00:00 +0000/container-cloud/modules/observability-center/application-monitoring/应用资源监控 # 对于一段时间范围内部署在Kubernetes集群内的资源数量（Deployment、StatefulSet、Daemonset、Job、CronJob、pvc、service、ingress、Pods容器组）进行观测 操作步骤： 1）登录msp平台 2）在msp平台「全部产品」导航栏中点击容器云平台模块下的观测中心，在右侧导航栏中点击应用监控，如下图所示：/container-cloud/modules/solutions/cicd/Mon, 01 Jan 0001 00:00:00 +0000/container-cloud/modules/solutions/cicd/CICD # Zadig 概述 # 项目 # Zadig 中的项目包括工作流、环境、服务、构建、测试、版本等资源，用户在项目中可以进行服务开发、服务部署、集成测试、版本发布等CICD操作。 工作流 # 典型的软件开发过程一般包括以下几个步骤： 编写代码 -> 构建 -> 部署 -> 测试 -> 发布 工作流就是 Zadig 平台对这样一个开发流程的实现，通过工作流来更新环境中的服务或者配置。 工作流组成 # Zadig 工作流简化示意图如下所示： 环境 # Zadig 环境是一组服务集合及其配置、运行环境的总称，与 Kubernetes 的 NameSpace 一对一的对应关系，使用一套服务模板可以创建多套环境。 服务 # Zadig 中的服务可以理解为一组 Kubernetes 资源，包括 Ingress、Service、Deployment/Statefulset、ConfigMap 等，也可以是一个完整的 Helm Chart 或者云主机/物理机服务，成功部署后可对外提供服务能力。 服务组件 # 服务组件是 Zadig 中可被更新的最小单元，是使用 Kubernetes 作为基础设施的项目中的概念。一个服务中可包括多个服务组件。不同项目中的服务组件信息如下表： 项目类型 服务组件来源 服务组件名称 服务组件镜像信息 K8s YAML 项目 服务 K8s YAML 配置中的 Deployment/Statefulset、Job 资源 对应资源的 container 名称 对应资源的 container 镜像 K8s Helm Chart 项目 服务 Helm Chart values./container-cloud/modules/security-center/cis/Mon, 01 Jan 0001 00:00:00 +0000/container-cloud/modules/security-center/cis/合规基线扫描(CIS) # Center for Internet Security（CIS，互联网安全中心）公布了最佳做法安全建议的基准。CIS Kubernetes 基准是一系列用于配置 Kubernetes 以支持可靠的安全状况的建议。基准与特定的 Kubernetes 版本相关联。CIS Kubernetes 基准是针对开源 Kubernetes 发行版编写的，旨在尽可能广泛应用于各个发行版。 操作步骤： 1）登录msp平台 2）在msp平台「全部产品」导航栏中点击容器云平台模块下的安全中心，在右侧导航栏中点击合规基线，如下图所示：/container-cloud/modules/crds/cloneset/Mon, 01 Jan 0001 00:00:00 +0000/container-cloud/modules/crds/cloneset/CloneSet 管理 # CloneSet 概述 # CloneSet 控制器提供了高效管理无状态应用的能力，它可以对标原生的Deployment，但CloneSet 提供了很多增强功能。 查看CloneSet列表 # 操作步骤： 1）登录msp平台 2）在msp平台「全部产品」导航栏中点击容器云平台模块下的自定义资源中心 3）单击选择「CloneSet」，进入CloneSet列表页面，如下图所示： 查看CloneSet监控 # 容器云平台支持查看集群内CloneSet的监控，包含cpu使用量、内存使用量、网络流出速率、网络流入速率， 操作步骤： 1）登录msp平台 2）在msp平台「全部产品」导航栏中点击容器云平台模块下的工作负载 3）单击选择「CloneSet」，进入CloneSet列表页面，选择所需的CloneSet，单击监控进入监控页面，如下图所示： 查看CloneSet事件 # 容器云平台支持查看集群内CloneSet的事件 操作步骤： 1）登录msp平台 2）在msp平台「全部产品」导航栏中点击容器云平台模块下的工作负载 3）单击选择「CloneSet」，进入CloneSet列表页面，选择所需的CloneSet，单击名称进入pod管理页面 4）在Pod管理页面，单击左侧导航的「事件」，进入事件页面，如下图所示： 查看CloneSet YAML # 容器云平台支持查看集群内CloneSet的YAML文件 操作步骤： 1）登录msp平台 2）在msp平台「全部产品」导航栏中点击容器云平台模块下的工作负载 3）单击选择「CloneSet」，进入CloneSet列表页面，选择所需的CloneSet，单击名称进入pod管理页面 4）在Pod管理页面，单击左侧导航的「YAML」，进入YAML页面，如下图所示： 删除 CloneSet # 容器云平台支持对集群内CloneSet进行删除，删除时会展示该资源关联的集群内其他资源，例如：Service、ConfigMap 操作步骤： 1）登录msp平台 2）在msp平台「全部产品」导航栏中点击容器云平台模块下的工作负载 3）单击选择「CloneSet」，进入CloneSet列表页面，选择所需的CloneSet，单击删除/container-cloud/modules/workloads/deployment/Mon, 01 Jan 0001 00:00:00 +0000/container-cloud/modules/workloads/deployment/Deployment管理 # Deployment 概述 # Deployment 声明了 Pod 的模板和控制 Pod 的运行策略，适用于部署无状态的应用程序。 查看Deployment列表 # 操作步骤： 1）登录msp平台 2）在msp平台「全部产品」导航栏中点击容器云平台模块下的工作负载 3）单击选择「Deployments」，进入Deployments列表页面，如下图所示： 查看Deployment监控 # 容器云平台支持查看集群内Deployment下的所有pod的监控，包含cpu使用量、内存使用量、网络流出速率、网络流入速率， 操作步骤： 1）登录msp平台 2）在msp平台「全部产品」导航栏中点击容器云平台模块下的工作负载 3）单击选择「Deployments」，进入Deployments列表页面，选择所需的Deployment，单击监控进入监控页面，如下图所示： 查看Deployment事件 # 容器云平台支持查看集群内Deployment的事件 操作步骤： 1）登录msp平台 2）在msp平台「全部产品」导航栏中点击容器云平台模块下的工作负载 3）单击选择「Deployments」，进入Deployments列表页面，选择所需的Deployment，单击名称进入pod管理页面 4）在Pod管理页面，单击左侧导航的「事件」，进入事件页面，如下图所示： 查看Deployment YAML # 容器云平台支持查看集群内Deployment的YAML文件 操作步骤： 1）登录msp平台 2）在msp平台「全部产品」导航栏中点击容器云平台模块下的工作负载 3）单击选择「Deployments」，进入Deployments列表页面，选择所需的Deployment，单击名称进入pod管理页面 4）在Pod管理页面，单击左侧导航的「YAML」，进入YAML页面，如下图所示： 回滚 Deployment # 容器云平台支持对集群内Deployment的版本进行回滚操作 操作步骤： 1）登录msp平台 2）在msp平台「全部产品」导航栏中点击容器云平台模块下的工作负载 3）单击选择「Deployments」，进入Deployments列表页面，选择所需的Deployment，单击名称进入pod管理页面 4）在Pod管理页面，单击左侧导航的「修订历史」，进入修订历史页面，选择所需要的版本单击回滚如下图所示： 删除 Deployment # 容器云平台支持对集群内Deployment进行删除，删除时会展示该资源关联的集群内其他资源，例如：Service、ConfigMap 操作步骤： 1）登录msp平台 2）在msp平台「全部产品」导航栏中点击容器云平台模块下的工作负载 3）单击选择「Deployments」，进入Deployments列表页面，选择所需的Deployment，单击删除/container-cloud/modules/storages/persistentvolume/Mon, 01 Jan 0001 00:00:00 +0000/container-cloud/modules/storages/persistentvolume/PersistentVolume # PV 概述 # PV描述的是持久化存储卷，主要定义的是一个持久化存储在宿主机上的目录，比如一个NFS的挂载目录。 操作步骤： 1）登录msp平台 2）在msp平台「全部产品」导航栏中点击容器云平台模块下的存储管理 3）单击选择「PV」，进入PV列表页面，如下图所示： PV状态描述 # 状态 描述 Avaliable 创建好的 PV 在没有和 PVC 绑定的时候处于 Available 状态。 Bound 当一个 PVC 与 PV 绑定之后，PVC 就会进入 Bound 的状态。 Released 一个回收策略为 Retain 的 PV，当其绑定的 PVC 被删除，该 PV 会由 Bound 状态转变为 Released 状态。 查看PV 详情 # 容器云平台支持查看集群内PV详情 操作步骤： 1）登录msp平台 2）在msp平台「全部产品」导航栏中点击容器云平台模块下的存储管理 3）单击选择「PV」，进入PV列表页面，选择所需的PV，单击名称进入详情页面，如下图所示： 查看PV事件 # 容器云平台支持查看集群内PV的事件 操作步骤： 1）登录msp平台 2）在msp平台「全部产品」导航栏中点击容器云平台模块下的存储管理 3）单击选择「PV」，进入PV列表页面，选择所需的PV，单击操作列查看事件进入事件页面 查看PV YAML # 容器云平台支持查看集群内PV的YAML文件 操作步骤： 1）登录msp平台 2）在msp平台「全部产品」导航栏中点击容器云平台模块下的存储管理 3）单击选择「PV」，进入PV列表页面，选择所需的PV，单击查看YAML进入YAML页面，如下图所示： 删除 PV # 容器云平台支持对集群内PV进行删除/container-cloud/modules/config-managers/secret/Mon, 01 Jan 0001 00:00:00 +0000/container-cloud/modules/config-managers/secret/Secret # Secret 概述 # Secret是一种加密存储的资源对象，您可以将认证信息、证书、私钥等保存在Secret中，而不需要把这些敏感数据暴露到镜像或者Pod定义中，从而更加安全和灵活。 Secret与ConfigMap非常像，都是key-value键值对形式，使用方式也相同，不同的是Secret会加密存储，所以适用于存储敏感信息。 操作步骤： 1）登录msp平台 2）在msp平台「全部产品」导航栏中点击容器云平台模块下的配置管理 3）单击选择「Secret」，进入Secret列表页面，如下图所示： 查看Secret 详情 # 容器云平台支持查看集群内Secret详情 操作步骤： 1）登录msp平台 2）在msp平台「全部产品」导航栏中点击容器云平台模块下的配置管理 3）单击选择「Secret」，进入Secret列表页面，选择所需的Secret，单击名称进入详情页面，如下图所示： 查看Secret YAML # 容器云平台支持查看集群内Secret的YAML文件 操作步骤： 1）登录msp平台 2）在msp平台「全部产品」导航栏中点击容器云平台模块下的配置管理 3）单击选择「Secret」，进入Secret列表页面，选择所需的Secret，单击查看YAML进入YAML页面，如下图所示： 删除 Secret # 容器云平台支持对集群内Secret进行删除 操作步骤： 1）登录msp平台 2）在msp平台「全部产品」导航栏中点击容器云平台模块下的配置管理 3）单击选择「Secret」，进入Secret列表页面，选择所需的Secret，单击删除/container-cloud/modules/svc-ingress/services/Mon, 01 Jan 0001 00:00:00 +0000/container-cloud/modules/svc-ingress/services/ Services # Service 概述 # 用户在 Kubernetes 中可以部署各种容器，其中一部分是通过 HTTP、HTTPS 协议对外提供七层网络服务，另一部分是通过 TCP、UDP 协议提供四层网络服务。而 Kubernetes 定义的 Service 资源就是用来管理集群中四层网络的服务访问。 查看Service列表 # 操作步骤： 1）登录msp平台 2）在msp平台「全部产品」导航栏中点击容器云平台模块下的服务与路由 3）单击选择「Service」，进入Service列表页面，如下图所示： 查看Service详情 # 容器云平台支持查看集群内Service的事件 操作步骤： 1）登录msp平台 2）在msp平台「全部产品」导航栏中点击容器云平台模块下的服务与路由 3）单击选择「Service」，进入Service列表页面，选择所需的Service，单击名称进入详情页面，如下图所示： 查看Service YAML # 容器云平台支持查看集群内Service的YAML文件 操作步骤： 1）登录msp平台 2）在msp平台「全部产品」导航栏中点击容器云平台模块下的服务与路由 3）单击选择「Service」，进入Service列表页面，选择所需的Service，单击查看YAML进入YAML页面，如下图所示： 删除 Service # 容器云平台支持对集群内Service进行删除 操作步骤： 1）登录msp平台 2）在msp平台「全部产品」导航栏中点击容器云平台模块下的服务与路由 3）单击选择「Service」，进入Service列表页面，选择所需的Service，单击删除 #/service-mesh/modules/gateway-center/waf/dashboard/Mon, 01 Jan 0001 00:00:00 +0000/service-mesh/modules/gateway-center/waf/dashboard/ WAF 概览 # 通过 WAF 概览，我们可以看到平台 WAF 的运行情况，包括： 事件概要（总数、绕过、放行、拦截等） 高频事件排名/service-mesh/modules/telemetry-center/service/Mon, 01 Jan 0001 00:00:00 +0000/service-mesh/modules/telemetry-center/service/服务遥测 # 在服务治理模块中，我们可以看到服务的多种遥测指标，包括 日志&事件：服务日志、网关日志、熔断事件、限流事件、服务上下线、资源预警 服务指标：资源占用、服务指标、端点指标、实例指标 链路追踪 链路拓扑 服务数据库 这些模块分散在“服务治理”的各个页面中，而“服务遥测”模块，则提供了一个统一的入口来观测某个具体服务相关的遥测信息。提供了“一览视角”。 操作区域说明 # 顶部操作区 服务切换 时间切换 观测项切换 底部操作区 显示各事件的数量统计 顶部切换区 # 顶部切换各项观测指标 底部事件状态栏 # 底部进行事件统计，点击后可查看对应详情 日志&事件 # 服务日志 # 网关日志 # 熔断事件 # 限流事件 # 服务上下线 # 资源预警事件 # 服务指标 # 资源占用 # 服务指标 # 端点指标 # 实例指标 # 链路追踪 # 服务拓扑 # 服务数据库 # 在“服务数据库”模块，你可以查看平台的整体数据库表现，或指定数据库的表现。/service-mesh/modules/ca-center/dashboard/Mon, 01 Jan 0001 00:00:00 +0000/service-mesh/modules/ca-center/dashboard/概览 # 通过CA中心概览，我们可以对 CA 的运行情况进行汇总和监控，其主要信息包括： 当前 CA 的证书颁发情况 CA 中心运行情况 证书概览 # 包括： 证书有效期概览 证书分类概览 证书启用情况概览 证书概览 上级 CA 中心监控 # 监控实例及延迟情况 上级 CA 中心监控 CA 中心行为事件监控 # 监控以下指标 Workload 证书签发情况 Workload 证书吊销情况 Workload OCSP验证情况 CA 中心行为事件监控/service-mesh/modules/govern-center/dashboard/Mon, 01 Jan 0001 00:00:00 +0000/service-mesh/modules/govern-center/dashboard/ 概览 # 治理中心以“服务”为维度，进行了服务的信息统计、运行状态观测、治理策略调整等。通过“概览”模块，我们可以看到整个平台服务运行的大体情况，包括 当前的事件概览，如：近期是否发生过值得关注的事件。 治理事件概览，用于分析指定时间内的事件发生情况。 高频事件服务排名，用于定位到经常发生预警的服务，一般此类服务需要重点关注。当前包含 CPU资源预警排名 内存资源预警排名 服务下线排名 限流服务排名 熔断服务排名 最佳实践 # 进入治理中心后，关注运行概览的各待处理事件，即页面中标红的部分。点击各项事项指标后进一步排查问题。 通过治理概览，我们可以查看系统的治理事件趋势。我们可以查看其是否有规律性来辅助排查问题，如：是否总是在某个时间点触发事件。 通过 TopN 的几个卡片，我们可以定位瓶颈服务。 定位到瓶颈服务或时间规律后，我们可以对具体的服务设置治理规则。目前支持的服务治理有：熔断、限流。 排障时，牢记服务遥测的三大支柱：Logs、Traces、Metrics，有效结合可以取得事半功倍的效果。Traces 聚焦服务的上下游关系，Metrics 显示服务的具体表现指标，如服务负载、服务延时，Logs则记录了服务在具体时间点的更详细的情况。 整个模块的概览如下所示： 整体运行情况 # 这里列出了最近24小时的事件数，以及各类事件的具体数量。通过点击具体的数值，我们可以查看更多的事件信息。 治理概览 # 治理概览汇总了各类事件在近期时间点上的分布情况，可方便我们进一步查看相关事件的时间分布规律，进而进一步定位问题。 资源预警 TopN # 通过对触发预警的服务进行 TopN 排序，我们可以定位到“瓶颈服务”或“需要关注”的服务。这样可以方便我们有针对的进行服务治理。 更改TopN的具体数量 以下为具体支持的 TopN 指标项，包括： CPU资源预警排名 内存资源预警排名 服务下线排名 限流服务排名 熔断服务排名/service-mesh/modules/log-center/dashboard/Mon, 01 Jan 0001 00:00:00 +0000/service-mesh/modules/log-center/dashboard/概览 # 日志作为服务观测的三大支柱（Log、Trace、Metrics）之一，扮演着重要在作用。通过在服务或系统中打印日志，可以为我们后续观测系统状态或问题溯源提供重要参考依据。 通过“日志中心”模块，你可以： 接入日志（生成新的日志KEY用于系统日志对接） 查看日志吞吐和治理情况 搜索和查看日志 日志概览 # 通过“日志概览”功能，我们可以观测整个“日志中心”的运行情况，包括： 当前日志的接入情况（KEY总数、停用的KEY、限流的KEY） 当前日志的治理情况 当前日志的吞吐，运行情况 日志概览页面/timedatabase/modules/alarm-management/manage/Mon, 01 Jan 0001 00:00:00 +0000/timedatabase/modules/alarm-management/manage/管理 # 可以对于报警和预计算进行统一的启用/关闭管理。/container-cloud/modules/delivery-center/image-repository/image-repository/Mon, 01 Jan 0001 00:00:00 +0000/container-cloud/modules/delivery-center/image-repository/image-repository/镜像仓库 # 概览 # 镜像仓库用于直接管理容器镜像，单个镜像仓库可包含不同版本的容器镜像。镜像仓库归属于仓库组，并从仓库组继承了公开、私有属性及安全扫描触发方式。 查看仓库列表 # 操作步骤： 1）登录msp平台 2）在msp平台「全部产品」导航栏中点击容器云平台-交付中心模块下的镜像仓库 3）单击选择「镜像仓库」，进入镜像仓库组列表页面，选择某一仓库组点击进入镜像仓库列表，如下图所示： 查看镜像仓库详情 # 操作步骤： 1）登录msp平台 2）在交付中心，镜像仓库列表页面选择某一仓库点击，进入镜像仓库详情 3）支持查看「基本信息」，如下图： 4）支持查看镜像版本，支持快捷复制pull命令、查看详情、同步镜像，如下图： 5）支持查看镜像层信息，选择指定镜像版本的查看该镜像版本的层信息，如下图： 6）镜像安全扫描完成后，支持查看安全漏洞详细信息。扫描结果按照严重、中等、较低、未评级四个漏洞等级汇总漏洞信息，并且会展示所有漏洞的具体信息以及相应的漏洞修复版本提示。如下图：/service-mesh/modules/gateway-center/routes/routes/Mon, 01 Jan 0001 00:00:00 +0000/service-mesh/modules/gateway-center/routes/routes/路由管理 # 网关路由模块可以查看当前网关中注册的路由信息，以及进行相应的路由管理，包括： 路由及服务信息查看 路由的监控信息 路由 WAF 策略调整 路由&服务信息查看 # 在“路由管理”的路由列表页面，可以看到当前网关的路由列表。我们可以看到每条路由对应的基础信息，通过操作，我们可以 查看路由详情 进行路由 WAF 配置 添加新的路由 新增路由注册 # 新增路由注册 通过该功能，我们可以注册新的路由，其配置参数如图所示。 查看路由详情 # 路由信息和流量统计 # 点击“查看详情”，可查看该路由的详细信息，包括：路由信息、路由监控信息。 路由详情&路由监控(流量统计) 流量分析 # 网关开放能力 # 通过“网关开放能力”，我们可以管控该服务的网关能力，如：开启 auth 认证、进行 cors 处理等。 如果是初次使用，需要进行“初始化”动作。/timedatabase/modules/compute-engine/record/Mon, 01 Jan 0001 00:00:00 +0000/timedatabase/modules/compute-engine/record/ 时序预计算 # 创建Record规则 # 在这里可以对时序数据进行预处理，添加Record规则 关联实例与资源信息。 添加规则到规则组，需要保障待添加的规则所在的规则组已存在，如果不存在，需要进行创建。 配置Record规则。自定义添加示例如下： { "instance_id": "ts_565082230750187520", "uuid": "c950b2e6-9b53-11eb-b4f9-c28d0e0c8a10", "groups": [ { "file": "cidata-dataworks-system-record.yml", "name": "dataworks-system", "interval": "1m0s", "rules": [ { "id": 392, "record": "dataworks_datasync_running_error", "expr": "(label_replace(label_replace(dataworks_running_datasync, \"cluster_name\", \"$1\", \"flink_cluster\", \"(.*)\"), \"job_name\", \"$1\", \"flink_job\", \"(.*)\")) unless on (cluster_name, job_name) (count by (tenant, cluster_name, job_name) (flink_taskmanager_job_task_numRecordsOutPerSecond{task_name=~\"Source.*\"}) > 0)", "for": "0s" } ] } ] }/service-mesh/modules/serverless/app-dev/Mon, 01 Jan 0001 00:00:00 +0000/service-mesh/modules/serverless/app-dev/MSP Serverless平台应用开发 # 一、基本概念梳理 # 本文主要介绍基于 msp serverless 平台的分布式开发概念和流程。通过以 wasm 为最小单元的开发，充分适用于当前的分布式开发环境。在展开介绍应用开发之前，我们需要熟悉其几个概念。 无论是采用传统的单体应用开发模式，还是微服务开发模式，亦或是 serverless，其解决的问题基本类似，只不过不同的模式下的叫法有差异而已。 一般而言，应用的开发都可以划分为以下几个部分： 纯业务逻辑。如：商品功能，会员功能等。面向业务开发人员。 中间件。如：数据库中间件，缓存中间件，流量控制等。面向中间件开发人员，或平台开发*人员。* 运行环境。根据不同的技术栈，有不同的运行环境，属于基础设施层。比如采用容器部署的，一般运行在k8s里，这部分面向平台开发人员。 在 msp serverless 平台中具有相似的概念，这里列举如下： 概念 面向人员 说明 actor 业务开发 编写业务逻辑的地方，如果涉及到非业务逻辑的公共能力（或中间件能力），通过引用interface的方式来获取能力。业务人员可使用rust或tinyGo来开发actor。 interface 中间件或平台开发 定义一些业务无关的公共能力接口，比如：keyvalue能力，但是不提供具体的实现。可以在 interface 中定义允许的操作(operations)，以及各种结构体(structure)。使用 smithy IDL 进行 interface 的定义，使用 wash 工具来生成对应代码。 provider 中间件或平台开发 实现interface的能力，比如同样对于keyvalue功能，可以有redis实现，也可以有vault实现。并且可以用不同的技术栈来实现。可使用 rust 来进行 Provider 开发，官方未来会支持 Go。 link def 业务开发或部署人员 由于actor只是引用了具体的interface，并没有指定哪一个provider，所以在实际部署时，需要关联actor和provider。可以通过 shell(wash)命令行，或者平台进行操作。 wasm host 中间件或平台开发 作为整个 msp serverless 生态的运行基石，用于协调actor,provider之间的分布式通信，同时也提供分布式调度能力。采用 Elixir/OTP 技术栈实现。 整体的关系图梳理如下： msp serverless app 的开发采用基于契约（接口）的开发方式进行，其中 interface 就是契约的定义。 三、开发流程 # 如果我们需要实现一个全新的业务场景，需要进行以下几个步骤:/timedatabase/modules/compute-engine/aiops/Mon, 01 Jan 0001 00:00:00 +0000/timedatabase/modules/compute-engine/aiops/ AIOPS # 通过机器学习算法，建立AI模型，通过分析历史时序数据，对于未来进行预测并且报警。 目前只支持内定的AIOPS对象，其列表如下： 服务CPU监控 服务内存监控 服务网络读监控 服务网络写监控 注册中心 日志积压 日志生产速率 日志消费速率 Redis内存利用率 Redis客户端连接数 Redis总的命令数 网关请求量 网关吞吐量/container-cloud/modules/observability-center/cluster-monitoring/Mon, 01 Jan 0001 00:00:00 +0000/container-cloud/modules/observability-center/cluster-monitoring/集群监控 # 集群监控是对Kubernetes集群内的核心系统组件（ETCD、APIServer、调度器、Maste）的监控 操作步骤： 1）登录msp平台 2）在msp平台「全部产品」导航栏中点击容器云平台模块下的观测中心，在右侧导航栏中点击集群监控，如下图所示： ETCD监控指标包含：集群内etcd节点信息、库大小、客户端流量、gRPC流式消息、WAL日志同步时间、库同步时间、Raft提议 APIServer监控指标包含：请求延迟、每秒请求次数 调度器监控指标包含：调度次数、调度速率、调度延迟 Master监控指标包含：cpu使用情况、cpu平均负载、内存使用情况、磁盘使用量、inode使用率、磁盘吞吐、IOPS、网络带宽、容器组运行状态/container-cloud/modules/config-managers/configmap/Mon, 01 Jan 0001 00:00:00 +0000/container-cloud/modules/config-managers/configmap/ConfigMap # ConfigMap 概述 # ConfigMap是一种用于存储应用所需配置信息的资源类型，用于保存配置数据的键值对，可以用来保存单个属性，也可以用来保存配置文件。 通过ConfigMap可以方便的做到配置解耦，使得不同环境有不同的配置。相比环境变量，Pod中引用的ConfigMap可以做到实时更新，当您更新ConfigMap的数据后，Pod中引用的ConfigMap会同步刷新。查看ConfigMap列表 操作步骤： 1）登录msp平台 2）在msp平台「全部产品」导航栏中点击容器云平台模块下的配置管理 3）单击选择「ConfigMap」，进入ConfigMap列表页面，如下图所示： 查看ConfigMap 详情 # 容器云平台支持查看集群内ConfigMap详情 操作步骤： 1）登录msp平台 2）在msp平台「全部产品」导航栏中点击容器云平台模块下的配置管理 3）单击选择「ConfigMap」，进入ConfigMap列表页面，选择所需的ConfigMap，单击名称进入详情页面，如下图所示： 查看ConfigMap YAML # 容器云平台支持查看集群内ConfigMap的YAML文件 操作步骤： 1）登录msp平台 2）在msp平台「全部产品」导航栏中点击容器云平台模块下的配置管理 3）单击选择「ConfigMap」，进入ConfigMap列表页面，选择所需的ConfigMap，单击查看YAML进入YAML页面，如下图所示： 删除 ConfigMap # 容器云平台支持对集群内ConfigMap进行删除 操作步骤： 1）登录msp平台 2）在msp平台「全部产品」导航栏中点击容器云平台模块下的配置管理 3）单击选择「ConfigMap」，进入ConfigMap列表页面，选择所需的ConfigMap，单击删除/container-cloud/modules/workloads/daemonset/Mon, 01 Jan 0001 00:00:00 +0000/container-cloud/modules/workloads/daemonset/DaemonSet管理 # DaemonSet 概述 # DaemonSet 主要用于部署常驻集群内的后台程序，例如节点的日志采集。DaemonSet 保证在所有或部分节点上均运行指定的 Pod。 新节点添加到集群内时，也会有自动部署 Pod；节点被移除集群后，Pod 将自动回收。 查看DaemonSet列表 # 操作步骤： 1）登录msp平台 2）在msp平台「全部产品」导航栏中点击容器云平台模块下的工作负载 3）单击选择「DaemonSets」，进入DaemonSets列表页面，如下图所示： 查看DaemonSet监控 # 容器云平台支持查看集群内DaemonSet下的所有pod的监控，包含cpu使用量、内存使用量、网络流出速率、网络流入速率， 操作步骤： 1）登录msp平台 2）在msp平台「全部产品」导航栏中点击容器云平台模块下的工作负载 3）单击选择「DaemonSet」，进入DaemonSet列表页面，选择所需的DaemonSet，单击监控进入监控页面，如下图所示： 查看DaemonSet事件 # 容器云平台支持查看集群内DaemonSet的事件 操作步骤： 1）登录msp平台 2）在msp平台「全部产品」导航栏中点击容器云平台模块下的工作负载 3）单击选择「DaemonSets」，进入DaemonSets列表页面，选择所需的DaemonSets，单击名称进入pod管理页面 4）在Pod管理页面，单击左侧导航的「事件」，进入事件页面，如下图所示： 查看DaemonSet YAML # 容器云平台支持查看集群内DaemonSet的YAML文件 操作步骤： 1）登录msp平台 2）在msp平台「全部产品」导航栏中点击容器云平台模块下的工作负载 3）单击选择「DaemonSets」，进入DaemonSets列表页面，选择所需的DaemonSets，单击名称进入pod管理页面 4）在Pod管理页面，单击左侧导航的「YAML」，进入YAML页面，如下图所示： 删除 DaemonSet # 容器云平台支持对集群内DaemonSet进行删除，删除时会展示该资源关联的集群内其他资源，例如：Service、ConfigMap 操作步骤： 1）登录msp平台 2）在msp平台「全部产品」导航栏中点击容器云平台模块下的工作负载 3）单击选择「DaemonSets」，进入DaemonSets列表页面，选择所需的DaemonSets，单击删除/multi-cloud-container/modules/workloads/deployment/Mon, 01 Jan 0001 00:00:00 +0000/multi-cloud-container/modules/workloads/deployment/ Deployment # 应用管理概述（Deployment） # 基于多集群与Federation联邦技术，多云容器平台可以实现多个不同区域、不同云的Kubernetes管理，支持统一的全局应用管理，支持基于Kubernetes社区集群联邦标准化接口的跨集群应用的部署、删除等全生命周期管理。 创建应用（Deployment） # 操作步骤： 进入MSP-多云容器平台，在host集群的左侧导航栏中选择“工作负载-Deployment”。 在工作负载列表中，单击“创建”。 填写工作负载基本信息-目前仅支持yaml格式 单击“下一步”，填写部署策略，设置参数 部署集群 选择当前多云容器平台内支持可调度的集群 部署模式 支持如下两种模式： 定向调度：调度到指定集群，支持添加打散策略。 权重调度：设置部署目标集群的权重，根据权重比例来在决定目标集群部署实例的数量 单击“下一步”，填写差异化配置，设置参数 描述 描述当前配置的作用 目标集群 差异化配置产生作用的集群 覆写策略，设置参数 路径：差异化配置修改的属性所在文件内的位置 类型：修改的类型，包含：add、remove、rpeplace 值：修改后的值 设置完成后，单击“确定”完成创建。 查看应用（Deployment）详情 # 操作步骤： 进入MSP-多云容器平台，在host集群的左侧导航栏中选择“工作负载-Deployment”。 在工作负载列表中，单击工作负载后的“详情”。支持查看负载统一的基本模版信息，部署实例的基本信息。页面如下图所示： 其他操作 # 实例监控、容器、日志 容器：可以查看相应实例的容器名称、状态、镜像以及启停次数等。 监控：若添加的集群为华为云集群时可以查看相应实例的CPU使用率、内存使用率。其他类型集群不支持此功能。 日志：可以查看相应容器的日志信息。 部署应用 可以在云容器平台对联邦应用进行重新部署，仅支持修改目标集群及部署实例数。 进入MSP-多云容器平台，在host集群的左侧导航栏中选择“工作负载-Deployment”。 在负载列表中，单击负载后的“部署”，设置参数。 编辑应用YAML 可以在云容器平台对联邦应用进行修改。 进入MSP-多云容器平台，在host集群的左侧导航栏中选择“工作负载-Deployment”。 在负载列表中，单击负载后的“编辑YAML”，修改yaml格式文件。/container-cloud/modules/svc-ingress/ingresses/Mon, 01 Jan 0001 00:00:00 +0000/container-cloud/modules/svc-ingress/ingresses/Ingress # Ingress 概述 # 用户在 Kubernetes 中可以部署各种容器，其中一部分是通过 HTTP、HTTPS 协议对外提供七层网络服务，另一部分是通过 TCP、UDP 协议提供四层网络服务。Ingress 提供七层网络下 HTTP、 HTTPS 协议服务的暴露，及七层网络下的常见能力，Ingress 是允许访问到集群内 Service 规则的集合，您可以通过配置转发规则，实现不同 URL 可以访问到集群内不同的 Service。 查看Ingress列表 # 操作步骤： 1）登录msp平台 2）在msp平台「全部产品」导航栏中点击容器云平台模块下的服务与路由 3）单击选择「Ingress」，进入Ingress列表页面，如下图所示： 查看Ingress详情 # 容器云平台支持查看集群内Ingress的详情 操作步骤： 1）登录msp平台 2）在msp平台「全部产品」导航栏中点击容器云平台模块下的服务与路由 3）单击选择「Ingress」，进入Ingress列表页面，选择所需的Ingress，单击名称进入详情页面，如下图所示： 查看Ingress YAML # 容器云平台支持查看集群内Ingress的YAML文件 操作步骤： 1）登录msp平台 2）在msp平台「全部产品」导航栏中点击容器云平台模块下的服务与路由 3）单击选择「Ingress」，进入Ingress列表页面，选择所需的Ingress，单击查看YAML进入YAML页面，如下图所示： 创建 Ingress # 容器云平台支持对集群内Ingress进行删除 操作步骤： 1）登录msp平台 2）在msp平台「全部产品」导航栏中点击容器云平台模块下的服务与路由 3）单击选择「Ingress」，进入Ingress列表页面，单击创建，进入Ingress创建页面，如下图所示 4）根据实际需求，设置ingress参数，关键参数信息如下： Ingress名称：自定义。 命名空间：根据实际需求进行选择。 转发配置：根据实际需求进行设置。 删除 Ingress # 容器云平台支持对集群内Ingress进行删除 操作步骤： 1）登录msp平台 2）在msp平台「全部产品」导航栏中点击容器云平台模块下的服务与路由 3）单击选择「Ingress」，进入Ingress列表页面，选择所需的Ingress，单击删除/container-cloud/modules/storages/persistentvolumeclaim/Mon, 01 Jan 0001 00:00:00 +0000/container-cloud/modules/storages/persistentvolumeclaim/PersistentVolumeClaim # PVC 概述 # PVC：表达的是对存储的请求。概念上与Pod类似。 Pod会耗用节点资源，而PVC申领会耗用PV资源。 操作步骤： 1）登录msp平台 2）在msp平台「全部产品」导航栏中点击容器云平台模块下的存储管理 3）单击选择「PVC」，进入PVC列表页面，如下图所示： PVC状态描述 # 状态 描述 Pending 没有满足条件的 PV 能与 PVC 绑定时，PVC 将处于 Pending 状态。 Bound 当一个 PV 与 PVC 绑定之后，PVC 会进入 Bound 的状态。 查看PVC 详情 # 容器云平台支持查看集群内PV详情 操作步骤： 1）登录msp平台 2）在msp平台「全部产品」导航栏中点击容器云平台模块下的存储管理 3）单击选择「PVC」，进入PVC列表页面，选择所需的PVC，单击名称进入详情页面，如下图所示： 查看PVC事件 # 容器云平台支持查看集群内PVC的事件 操作步骤： 1）登录msp平台 2）在msp平台「全部产品」导航栏中点击容器云平台模块下的存储管理 3）单击选择「PVC」，进入PVC列表页面，选择所需的PVC，单击操作列查看事件进入事件页面 查看PVC YAML # 容器云平台支持查看集群内PV的YAML文件 操作步骤： 1）登录msp平台 2）在msp平台「全部产品」导航栏中点击容器云平台模块下的存储管理 3）单击选择「PVC」，进入PVC列表页面，选择所需的PV，单击查看YAML进入YAML页面，如下图所示： 删除 PVC # 容器云平台支持对集群内PV进行删除 操作步骤： 1）登录msp平台 2）在msp平台「全部产品」导航栏中点击容器云平台模块下的存储管理 3）单击选择「PVC」，进入PVC列表页面，选择所需的PVC，单击删除/service-mesh/modules/govern-center/services/Mon, 01 Jan 0001 00:00:00 +0000/service-mesh/modules/govern-center/services/服务列表 # 通过”服务列表“，我们可以查看当前平台已经注册的服务信息。这里既可以作为所有服务的一个搜索查询页面，又可以作为进一步查看服务信息的入口。 除了在”服务列表“ 查看和搜索服务信息外，我们也可以使用平台顶部的搜索框进行服务的搜索和信息查看。/timedatabase/modules/alarm-management/rules/Mon, 01 Jan 0001 00:00:00 +0000/timedatabase/modules/alarm-management/rules/规则 # 在这里可以对报警的规则进行创建、删除、启用、停用操作。 创建报警规则 # 在报警规则的列表中，我们添加报警规则的流程如下： 关联实例与资源信息。 添加规则到规则组，需要保障待添加的规则所在的规则组已存在，如果不存在，需要进行创建。 配置告警应用。此处与告警平台联动，如果不存在，可以点击创建告警应用。 报警规则。自定义添加告警规则。示例如下： [ { "name":"up.rules", "rules":[ { "alert":"VM Component survival status analysis", "expr":"up!=1", "for":"5m", "labels":{ "team":"tsdb", "status":"Serious alarm", "level":"1", "appkey":"e7f30ece-b325-455e-bfcb-0e967a11caa6" }, "annotations":{ "description":"{{ $labels.instance }}Unusual component status" } } ] } ] 通知方式。选择对应的报警通知组、通知人、通知方式以及报警的级别。 创建报警规则。 其他平台的报警规则接入流程 # 确定实例ID，在实例详情页面可以进行查看； 确定资源UUID，用户在接入本平台时会返回的当前资源在本平台中的唯一的标识； 确定告警应用，用户需前往告警平台创建告警应用，获取到appkey,方可在本平台创建报警规则，否则，会导致报警数据发送到告警平台时会被误认为脏数据清洗掉； 确定报警规则组； 确定报警规则； 书写规范如下: { "instance_id": "ts_565082230750187520" , "uuid": "c950b2e6-9b53-11eb-b4f9-c28d0e0c8a10", "groups": [ { "name": "up.rules", "rules": [ { "alert": "VM组件存活状态分析", "expr": "up!=1", "for": "5m", "labels": { "team": "tsdb", "level": "1", "service": "时序平台", "appkey": "e7f30ece-b325-455e-bfcb-0e967a11caa6" }, "annotations": { "description": "{{ $labels./service-mesh/modules/telemetry-center/infrastructure/Mon, 01 Jan 0001 00:00:00 +0000/service-mesh/modules/telemetry-center/infrastructure/基础监控 # “基础监控”提供了平台基础设施的监控，在这里你可以观测平台各基础设施的运行情况。/container-cloud/modules/delivery-center/image-repository/image-synchronization/Mon, 01 Jan 0001 00:00:00 +0000/container-cloud/modules/delivery-center/image-repository/image-synchronization/镜像同步 # 概述 # 在过去的一段时间在公有云之间进行镜像转移时，会偶发性的出现镜像传输中断问题。镜像传 输中断的问题是多方面的，导致镜像传输中断的问题结合公司内部情况。通过镜像同步功能，可以实现容器镜像从源实例同步至目标实例，且支持跨公有云平台。 查看镜像同步列表 # 操作步骤： 1）登录msp平台 2）在msp平台「全部产品」导航栏中点击容器云平台-交付中心模块下的镜像仓库 3）单击选择「镜像同步」，进入镜像同步列表页面，选择某一仓库组点击进入镜像同步列表，如下图所示： 创建同步任务 # 操作步骤： 1）登录msp平台 2）在msp平台「全部产品」导航栏中点击容器云平台-交付中心模块下的镜像仓库 3）单击选择「镜像同步」，进入镜像同步列表页面，点击创建同步任务 4）第一步，填写同步源信息： 仓库地址：填写源镜像仓库的公网地址 命名空间：填写源镜像仓库的命名空间 镜像：填写源镜像仓库的镜像 版本：填写源镜像的版本 访问凭证：支持密钥、账号密码两种方式 填写完毕后点击下一步： 5）第二步，填写同步目标信息： 仓库地址：填写目标镜像仓库的公网地址 命名空间：填写目标镜像仓库的命名空间 镜像：填写目标镜像仓库的镜像地址 版本：填写目标镜像的版本，不填默认为latest 访问凭证：支持密钥、账号密码两种方式 填写完毕后点击确定，开始创建。/service-mesh/modules/serverless/weelink/Mon, 01 Jan 0001 00:00:00 +0000/service-mesh/modules/serverless/weelink/MSP Serverless平台链上交互框架 # 框架方案 # 架构 # MSP Serverless编程框架支持用户自定义provider，应用程序编译成的wasm也就是actor可以通过abi，以类似于本地函数调用的方式与provider进行交互。在本例中，我们实现了weelink的provider，使得wasm程序可以非常方便的与区块链进行交互。 abi接口 # 定义weelink交互的abi接口，可以执行/查询任意的链上合约。abi具体定义如下： invoke(method, args string) 发送交易接口，调用的链码函数名称以及对应的参数数组json marshal后的字符串 query(method, …args string) 发送交易接口，查询的链码函数名称以及对应的参数数组json marshal后的字符串 interface # 使用smithy定义上述abi，定义Invoke 和 Query的operation。然后使用wash工具生成rust的SDK库，这样provider和actor可以利用这个库来极大的简化代码。 /// The Weelink service has a single method, calculate, which /// calculates the factorial of its whole number parameter. @wasmbus( contractId: "wasmcloud:oneitfarm:weelink", actorReceive: true, providerReceive: true ) service Weelink { version: "0.1", operations: [ Invoke, Query ] } /// Invoke - Execute transaction operation Invoke { input: InvokeRequest, output: InvokeResponse, } /// Query - Get info from contract./service-mesh/modules/gateway-center/routes/waf/Mon, 01 Jan 0001 00:00:00 +0000/service-mesh/modules/gateway-center/routes/waf/路由WAF # 通过在“路由列表”点击“WAF”按钮后，我们可以对该路由的WAF信息进行管控。 路由 WAF 概览 # 通过路由 WAF 概览，我们可以观测到当前路由的 WAF 运行信息，如：事件概要。 路由 WAF 概览 审计日志 # 通过审计日志，我们可以看到一条记录的详情，在这里你可以看到 WAF 是如何处理对应请求的。 查看详情 # 通过点击表格左侧的箭头，我们可以查看更多信息： 查看完整 JSON 数据 # 通过 json，我们可以查看完整的数据，帮助我们进一步了解 WAF 处理细节。 管理规则集 # 我们可以根据服务（或路由）的实际需求，来进行 WAF 执行策略的调整。 除了使用 OWASP 和平台内置的规则集外，我们还可以给路由配置“自定义规则集“。 平台规则集 # 平台规则在 “WAF防火墙” 模块的 ”平台规则集“ 中管理。 自定义规则集 # 除了使用 OWASP 或平台内置的规则集外，我们还可以根据服务（或路由）的特点，来自定义规则集。自定义规则集只对该路由生效。 自定义规则集设置/service-mesh/modules/log-center/keys/Mon, 01 Jan 0001 00:00:00 +0000/service-mesh/modules/log-center/keys/日志 KEY # 日志KEY列表一览 # 通过该模块，我们可以看到平台所有日志 KEY 的接入细节，包括：接入时间、消费情况、治理策略（启用状态、限流、采样率）。 同时，在该页面，我们可以接入新的日志或编辑现有 KEY 信息。 日志接入 # 部分参数解释如下 配置 说明 限流设置 -1 代表不限流 采样率 对日志进行部分采样，可数值越大则采样率越低，默认为1，表示100%采样 过期时间 日志KEY在Redis过期时间配置 长度阈值 该KEY在消费队里中同时存在的最大条数 根据实际的配置，会执行对应的日志策略，在部分情况下，会触发以下预警事件： 拦截事件： 当使用一个已经被禁用的日志 KEY 来发送日志时，会触发该事件。 限流事件： 当日志的发送速率过快，超过设定的速率阈值时，触发事件。 达到长度阈值： 当日志在消费队列中堆积，超多设定的阈值后，触发事件。 关于预警的更多细节，参考： 预警事件/service-mesh/modules/gateway-center/waf/logs/Mon, 01 Jan 0001 00:00:00 +0000/service-mesh/modules/gateway-center/waf/logs/审计日志 # 通过审计日志，我们可以看到 WAF 的审计记录和详情。 日志列表 # 日志详情 # 通过点击表格左侧的箭头，我们可以查看更多信息： 查看完整 JSON 数据 # 通过 json，我们可以查看完整的数据，帮助我们进一步了解 WAF 处理细节。/service-mesh/modules/register-center/detail/Mon, 01 Jan 0001 00:00:00 +0000/service-mesh/modules/register-center/detail/引擎详情 # 通过引擎详情，可以看到该引擎的更多信息，包括： 该引擎拥有的资源信息，包括：节点、服务。 该引擎目前的事件概览和详情。 该引擎当前的运行状态，包括：节点资源（CPU、内存）使用趋势、Sidecar资源（CPU、内存）使用趋势。 引擎详情概览 # 概览 # 该模块汇总了当前引擎最近的事件数、包含的引擎节点数 以及 已注册的服务数。通过该模块，我们可以对该引擎的资源和事件有宏观的了解。 通过点击具体的事件数、节点数或服务数，可以查看更多详情。 注册中心事件概览 # 该模块根据选择的时间范围汇总出事件的触发趋势。通过该模块，我们可以清晰的看到事件触发的趋势，进而进行分析潜在问题。如： 事件的触发是否具有周期规律？ 在事件发生的时间点，系统其他模块（如资源占用）是否有波动？ 注册引擎资源使用趋势 # 通过该模块，我们可以观测当前引擎在指定时间范围内的资源使用趋势。当前统计的项有： 服务节点：CPU、内存 Sidecar：进程内存、容器CPU、容器内存 服务节点资源使用情况 Sidecar资源使用情况 引擎节点查看 # 引擎资源预警 # 引擎服务查看——动态注册中心 # 动态服务包含两种查看视角：服务视角、实例视角。 服务视角 # “服务视角”查看服务信息 通过点击右侧的“操作”项，我们可以查看服务的更多信息，包括：静态属性信息和资源占用信息。点击后效果如下： 点击查看更多服务信息 点击查看资源占用图表 实例视角 # 实例视角查看 引擎服务查看——静态注册中心 # 本引擎拓扑——动态注册中心 # 通过该模块，我们可以看到当前注册中心服务的注册信息。当服务出现异常时，会使用红色颜色来进行标记。 另外，通过悬浮在“服务”卡片上，我们可以查看该服务的更多信息，包含：服务的属性信息、服务运行的资源占用情况。/container-cloud/modules/delivery-center/application/Mon, 01 Jan 0001 00:00:00 +0000/container-cloud/modules/delivery-center/application/应用市场 # 概述 # 应用市场是平台上的公共应用仓库，应用市场基于 OAM 模型定义的应用模板一键生成应用服务（CafeDeployment），您可以通过自定义 OAM 模板来快速创建应用服务。 OAM旨在通过全新的应用定义、运维、分发与交付模型，推动应用管理技术向轻运维的方向迈进。对于 Kubernetes 来说，OAM 既是一个标准的应用定义项目（类比已经不再活跃的 Kubernetes Application CRD 项目），同时也是一个专注于封装、组织和管理 Kubernetes 中各种运维能力、以及连接运维能力与应用的平台层项目。而通过同时提供定义应用和组织管理应用的运维能力这两大核心功能。 在 OAM 中，一个应用程序包含三个核心概念： Component：组成应用程序的 组件，它可能包含微服务集合、数据库和云负载均衡器。 Trait：描述应用程序 运维特征 的集合，例如，弹性伸缩和 Ingress 等功能。它们对应用程序的运行至关重要，但在不同环境中其实现方式各不相同。 Application Configuration：最后，为了将这些描述转化为具体的应用程序，运维人员使用 应用配置 来组合组件和相应的特征，以构建应部署的应用程序的具体实例。 查看应用市场 # 操作步骤： 1）登录msp平台 2）在msp平台「全部产品」导航栏中点击容器云平台-交付中心模块下的应用市场 3）单击选择「应用市场」，进入应用市场列表页面，如下图所示： 查看应用-组件详情 # 操作步骤： 1）登录msp平台 2）在msp平台「全部产品」导航栏中点击容器云平台-交付中心模块下的应用市场 3）单击选择「应用市场」，进入应用市场列表页面，选择所需的应用，单击应用进入详情页面，如下图所示： 4） 在Component列表中选中某一组件，单击「详情」进入组件详情页面，支持查看组件介绍、组件模版参数如下图所示： 部署应用 # 操作步骤： 1）登录msp平台 2）进入应用市场列表页面，选择所需的应用，单击应用进入详情页面 4）单击上部分的 部署应用，在弹出页面填入以下配置 第一步： 名称：支持英文小写字母、数字、中划线，必须以英文小写字母开头，最大长度为 64 个字符。 命名空间：选择相应的命名空间 版本：选择模版的版本 填写完毕后，单击 **下一步，**如下图： 第二步： 选择组件，配置以下的组件信息： 组件名称：必填，默认为应用名称+组件名称。 组件实例名称：必填，目前仅有组件类型为helm时才支持填写。 目标命名空间：默认为应用选择的命名空间，支持二次选择。 参数配置：配置环境、身份鉴权等参数，如 accesskey、secretkey、endpoint 以及 instanceid，参数根据用户需求可自行扩展。 填写完该应用下所有组件的信息后，单击 **下一步，**如下图：/service-mesh/modules/ca-center/topo/Mon, 01 Jan 0001 00:00:00 +0000/service-mesh/modules/ca-center/topo/证书拓扑 # 证书信息卡片 # 点击证书卡片后，可查看每个证书的详细信息。 证书详情 # 点击卡片，查看证书详情 点击更多细节，可以查看更多内容/service-mesh/modules/serverless/dev/Mon, 01 Jan 0001 00:00:00 +0000/service-mesh/modules/serverless/dev/概述 # 本文档用于指引如何从代码开发开始接入本平台。 开发 # 基础开发(WASM程序开发) # 基础开发是指wasm程序除纯逻辑外，只利用到目前已经提供的能力，例如：weelink、存储、Redis、网络（包括调用中台子服务）能力。而不会获取自定义的能力。 基础开发可以基于已有的sdk和模板仓库进行开发。支持rust、go、Python语言。构建模板仓库可以通过wash new命令在本地新建一个仓库，这种方式可以通过命令行交互自定义一些信息。也可以fork模板仓库。 开发wasm程序与开发正常程序一样，对于go语言来说，只是一些涉及到协程、反射等的功能无法使用。对于已经提供的能力都有良好的sdk封装，引入sdk后即可以调用本地函数的方式使用这些功能。 进阶开发 # 已有的系统能力不能满足用户使用需求，用户需要开发自定义的ABI交互。这种情况常见于中台以外的场景。目前中台的使用来说网络、kv、子服务调用都有。所以本部分介绍以引导性介绍和官方使用手册为主，不展开详细步骤。 创建interface # 需要通过命令行在本地创建interface，开发完成后添加到远程仓库。具体创建和开发流程参考 创建Provider # 需要通过命令行在本地创建Provider仓库，然后引用创建interface生成的sdk，实现对应的功能函数。通过命令wash new provider nameof-provider来创建，详细流程参考. 创建WASM程序 # 这里就与基础开发的流程一样了，只是在引入sdk的时候引入创建interface生成的sdk就行了。 构建 # 构建包括编译和推仓两个环节。wasm程序和Provider程序的编译推仓流程上来说都是一样的，以下以wasm程序为例进行介绍。 编译 # 先介绍本地开发如何编译，编译实际上就是将代码编译为wasm二进制文件的过程，对于不同的语言会有不同的工具链。在模板仓库中会提供编译的命令，所以通常来说就是make build即可。但是编译需要安装对应语言的编译wasm工具，对于go语言来说，安装tinygo的环境既可,镜像：docker4zc/washwithgo:0.26.0。 所以对于中台来说，由基础架构提供具有tinygo环境的编译镜像，添加到中台镜像库中。在这个镜像中执行编译，跟正常的go程序编译的流程一样，只不过使用的编译镜像不同。 推仓 # 推仓需要通过wash命令将编译后的文件推送到公有或者私有镜像仓。由于其符合OCI标准，所以任何支持docker的镜像仓库包括私有harbor都是可以的。 之前的是在docker容器中通过docker命令推仓，现在是在docker容器通过wash命令进行推仓，所以需要提供一个有wash命令的镜像即可：docker4zc/washwithgo:0.26.0。但是需要将harbor的访问信息在启动推仓镜像时以环境变量或者命令行参数形式给定。 部署 # wasm平台会提供对外的《API接口》 ，可以通过调用这些接口来进行部署。/service-mesh/modules/serverless/http-api/Mon, 01 Jan 0001 00:00:00 +0000/service-mesh/modules/serverless/http-api/API # 通过 API 接口我们可以和 wasmcloud host 进行交互。 请求说明 # 所有的操作类请求会异步操作，如果需要最终状态使用查询接口查询即可。 返回格式介绍 # { "code": 1001, "data": null, "msg": "ok" } code 为 1001 表示请求正常。其他值表示请求异常，具体原因见 msg 字段。 Host # 获取 HOST 信息 # 接口地址 GET /api/hosts 返回示例： { "code": 1001, "data": [ { "host_id": "NAR65YVFTUJGNYQMLJX33GCR54X7G2NN2YR4IHIQLW2IXRSJVJJIBW4N", "labels": { "hostcore.arch": "x86_64", "hostcore.os": "macos", "hostcore.osfamily": "unix" } } ], "msg": "ok" } Actor # 获取 Actor 列表 # 接口地址 GET /api/actors 返回示例/container-cloud/modules/observability-center/log-center/Mon, 01 Jan 0001 00:00:00 +0000/container-cloud/modules/observability-center/log-center/日志中心 # 容器云平台Kubernetes集群集成了日志服务，快速采集Kubernetes集群的容器日志，包括容器的标准输出以及容器内的文本文件，从而更好的让用户查看日志进行分析 日志中心已优化为：pod日志、节点日志两个模块，支持用户全方面的查询集群日志信息 操作步骤： 1）登录msp平台 2）在msp平台「全部产品」导航栏中点击容器云平台模块下的观测中心，在右侧导航栏中点击日志中心，如下图所示：/container-cloud/modules/storages/storageclass/Mon, 01 Jan 0001 00:00:00 +0000/container-cloud/modules/storages/storageclass/StorageClass # SC 概述 # SC：描述存储资源的提供者，也可以看作后端存储驱动。 操作步骤： 1）登录msp平台 2）在msp平台「全部产品」导航栏中点击容器云平台模块下的存储管理 3）单击选择「SC」，进入SC列表页面，如下图所示： 查看SC 详情 # 容器云平台支持查看集群内SC详情 操作步骤： 1）登录msp平台 2）在msp平台「全部产品」导航栏中点击容器云平台模块下的存储管理 3）单击选择「SC」，进入SC列表页面，选择所需的SC，单击名称进入详情页面，如下图所示： 查看SC事件 # 容器云平台支持查看集群内SC的事件 操作步骤： 1）登录msp平台 2）在msp平台「全部产品」导航栏中点击容器云平台模块下的存储管理 3）单击选择「SC」，进入SC列表页面，选择所需的SC，单击操作列查看事件进入事件页面 查看SC YAML # 容器云平台支持查看集群内SC的YAML文件 操作步骤： 1）登录msp平台 2）在msp平台「全部产品」导航栏中点击容器云平台模块下的存储管理 3）单击选择「SC」，进入SC列表页面，选择所需的PV，单击查看YAML进入YAML页面，如下图所示： 删除 SC # 容器云平台支持对集群内SC进行删除 操作步骤： 1）登录msp平台 2）在msp平台「全部产品」导航栏中点击容器云平台模块下的存储管理 3）单击选择「SC」，进入SC列表页面，选择所需的SC，单击删除/service-mesh/modules/govern-center/security/Mon, 01 Jan 0001 00:00:00 +0000/service-mesh/modules/govern-center/security/服务安全控制 # 服务安全控制用来进行服务的安全访问控制，包含了： 服务证书的管理（启用、禁用、证书链） 通信方式的切换（HTTP、HTTPS、mTLS） 通过该功能，可以进一步保障服务的通信安全。 平台服务和安全信息查看 # 通过该模块，我们可以看到服务的当前的安全配置。同时，我们可以点击“服务安全管理”，进一步对服务的安全策略进行配置。 Tips 除了进入该页面查看和搜索平台的服务安全信息外，在每个服务组件左侧，也显示了服务安全信息。 服务安全管理 # 通过在“服务安全控制”列表页，点击“服务安全管理”，我们可对具体的服务进行安全策略控制。我们可以： 启用或禁用证书 切换通信方式 HTTP、HTTPS、mTLS 查看证书信息，包括：证书链和证书详情 注意 mTLS 通信需在 Workload 证书启用时方可正常使用，在 Workload 证书关闭时使用 mTLS 将会导致通信异常 查看证书链 # 查看证书链 查看证书详情 # 查看证书详情 点击证书列表右侧的详情或证书链的证书卡片，可查看证书详情。/timedatabase/modules/alarm-management/history/Mon, 01 Jan 0001 00:00:00 +0000/timedatabase/modules/alarm-management/history/ 历史 #/service-mesh/modules/gateway-center/waf/routes/Mon, 01 Jan 0001 00:00:00 +0000/service-mesh/modules/gateway-center/waf/routes/路由 WAF # 通过”路由WAF“功能，我们可以管控平台中已开启 WAF 功能的路由。 接入 WAF # 使用”接入WAF“功能来给路由开启 WAF。 管理路由 WAF # 该功能具体使用请参考：路由WAF功能/service-mesh/modules/gateway-center/waf/rulesets/Mon, 01 Jan 0001 00:00:00 +0000/service-mesh/modules/gateway-center/waf/rulesets/平台规则集 # 通过平台规则集，我们可以配置一系列可供路由使用的规则集。 规则列表 # 规则列表 添加规则 # 添加规则 Tips 这里配置的规则并不会直接在平台生效，需要在路由 WAF 中进行开启/service-mesh/modules/log-center/events/Mon, 01 Jan 0001 00:00:00 +0000/service-mesh/modules/log-center/events/预警事件 # 根据实际的配置（更多细节请参考 日志KEY），会执行对应的日志策略，在部分情况下，会触发以下预警事件： 拦截事件： 当使用一个已经被禁用的日志 KEY 来发送日志时，会触发该事件。 限流事件： 当日志的发送速率过快，超过设定的速率阈值时，触发事件。 达到长度阈值： 当日志在消费队列中堆积，超多设定的阈值后，触发事件。 在该模块，我们可以看到平台中触发的日志 KEY 预警事件详情。/service-mesh/modules/ca-center/list/Mon, 01 Jan 0001 00:00:00 +0000/service-mesh/modules/ca-center/list/证书列表 # 证书列表模块可查看CA中心管理的证书信息，在此处我们可以以表格的形式，对证书进行搜索或一览。 同时，我们还可以对证书进行吊销操作。 证书列表 # 表格形式展示证书列表 证书吊销 # 通过点击表格右侧的开关来吊销证书。/container-cloud/modules/observability-center/event-center/Mon, 01 Jan 0001 00:00:00 +0000/container-cloud/modules/observability-center/event-center/事件中心 # 在“事件中心”页面，可根据时间、命名空间、级别、原因、资源类型、资源对象等维度过滤事件，查看核心事件的汇总统计信息，并展示一个周期内的数据对比。例如，事件总数及分布情况、节点异常、Pod OOM、重要事件趋势等仪表盘以及异常 TOP 事件列表。 操作步骤： 1）登录msp平台 2）在msp平台「全部产品」导航栏中点击容器云平台模块下的观测中心，在右侧导航栏中点击日志中心，如下图所示：/container-cloud/modules/workloads/pod/Mon, 01 Jan 0001 00:00:00 +0000/container-cloud/modules/workloads/pod/容器组（Pods）管理 # 容器组（Pods）概述 # 容器组（Pods）是Kubernetes中最小的可部署单元。容器组代表了Kubernetes中一个独立的应用程序运行实例，该实例可能由单个容器或者几个紧耦合在一起的容器组成。 查看容器组列表 # 操作步骤： 1）登录msp平台 2）在msp平台「全部产品」导航栏中点击容器云平台模块下的工作负载 3）单击选择「Pods」，进入Pods列表页面，如下图所示： 容器组状态 # 状态 描述 Pending 等待中。 Running 运行中。 CrashLoopBackOff 容器退出，kubelet正在将它重启。 InvalidImageName 无法解析镜像名称 ImageInspectError 无法校验镜像 ErrImageNeverPull 策略禁止拉取镜像 ImagePullBackOff 正在重试拉取 RegistryUnavailable 连接不到镜像中心 ErrImagePull 通用的拉取镜像出错 CreateContainerConfigError 不能创建kubelet使用的容器配置 CreateContainerError 创建容器失败 internalLifecycle.PreStartContainer 执行hook报错 RunContainerError 启动容器失败 PostStartHookError 执行hook报错 ContainersNotInitialized 容器没有初始化完毕 ContainersNotReady 容器没有准备完毕 ContainerCreating 容器创建中 PodInitializing pod初始化中 DockerDaemonNotReady docker还没有完全启动 NetworkPluginNotReady 网络插件还没有完全启动 查看容器组监控 # 容器云平台支持查看集群内容器组的监控，包含cpu使用量、内存使用量、网络流出速率、网络流入速率 操作步骤： 1）登录msp平台 2）在msp平台「全部产品」导航栏中点击容器云平台模块下的工作负载 3）单击选择「Pods」，进入Pods列表页面，选择所需的容器组，单击监控进入监控页面，如下图所示： 用户目前也可以在工作负载的Deployments、DaemonSets或者节点下的Pod管理页面，选择所需的容器组，单击监控查看 查看容器监控 # 容器云平台支持查看集群内容器组的监控，包含cpu使用量、内存使用量 操作步骤： 1）登录msp平台 2）在msp平台「全部产品」导航栏中点击容器云平台模块下的工作负载/service-mesh/modules/log-center/logs/Mon, 01 Jan 0001 00:00:00 +0000/service-mesh/modules/log-center/logs/查看日志 # 在该模块，我们可以对日志进行搜索、查看。 查看满足条件的日志列表 # 搜索结果查看 日志的时间分布 # 通过搜索，我们可以很直观的看到不同级别的日志在时间轴上的分布情况。 Tips 通过在时间轴上滑动一段区域，我们可以很方便地搜索该时间范围内的日志。 日志详情查看 # 鼠标悬浮 message 查看更多信息 # 点击表格箭头，查看更多内容 # table视角 JSON视角/timedatabase/modules/alarm-management/analyze/Mon, 01 Jan 0001 00:00:00 +0000/timedatabase/modules/alarm-management/analyze/ 分析 #/service-mesh/modules/govern-center/events/Mon, 01 Jan 0001 00:00:00 +0000/service-mesh/modules/govern-center/events/ 资源预警 # 在治理中心概览或平台概览中，我们可以看到平台的资源预警事件，通过点击具体的事件数字，我们可以查看服务或平台的资源预警列表。其展现形式如下： 在该模块，我们可以看到资源预警的具体信息，包括： 资源预警的类型：CPU、内存、CPU&内存 告警的发起方，目前包含：服务资源兜底(服务容器预警)、Sidecar资源兜底(Sidecar容器预警) Tips 通过表格中红色加粗部分，我们可以快速定位到具体的预警值/service-mesh/modules/gateway-center/dashboard/Mon, 01 Jan 0001 00:00:00 +0000/service-mesh/modules/gateway-center/dashboard/ 网关概览 # 通过网关概览模块，我们可以看到整个网关的运行状态，包括： 网关自身的运行状态 实例情况 负载情况(CPU、内存) 网络请求等 经过网关的服务表现 网关流量排名 HTTP状态码异常（4xx、5x）情况 延迟类指标/container-cloud/modules/observability-center/cluster-inspection/Mon, 01 Jan 0001 00:00:00 +0000/container-cloud/modules/observability-center/cluster-inspection/集群巡检 # 随着Kubernetes系统及系统上的部署月来越复杂，基于现有的观测体系会遇到如下问题： 数据监控作为正向链路，无法无死角覆盖所有场景。 即使链路中各个节点的监控数据正常，也不能 100% 保证链路可用。 kubernetes集群内数据推平的一致性问题。 在过去的时间里，为了解决上述类似的问题，如OOM 探测、kubelet异常检测、etcd对象探测等等，但这些类似系统经验性的东西分散在各处。为了保障复杂场景下的集群稳定性，同时形成“专家经验库“，我们计划建设Kubernetes集群主动探测（Synthetic Monitoring）系统，该系统以黑盒的角度模拟广义"用户"的行为去对集群/组件/链路对象等做主动探测，同时支持定向巡检。 操作步骤： 1）登录msp平台 2）在msp平台「全部产品」导航栏中点击容器云平台模块下的观测中心，在右侧导航栏中点击集群巡检，如下图所示：/container-cloud/modules/workloads/job/Mon, 01 Jan 0001 00:00:00 +0000/container-cloud/modules/workloads/job/Job 管理 # Job 概述 # Job 会创建 1-N 个 Pod，这些 Pod 按照运行规则运行，直至运行结束。 查看Job列表 # 操作步骤： 1）登录msp平台 2）在msp平台「全部产品」导航栏中点击容器云平台模块下的工作负载 3）单击选择「Job」，进入Job列表页面，如下图所示： 查看Job监控 # 容器云平台支持查看集群内Job的监控，包含cpu使用量、内存使用量、网络流出速率、网络流入速率， 操作步骤： 1）登录msp平台 2）在msp平台「全部产品」导航栏中点击容器云平台模块下的工作负载 3）单击选择「Job」，进入Job列表页面，选择所需的Job，单击监控进入监控页面，如下图所示： 查看Job事件 # 容器云平台支持查看集群内Job的事件 操作步骤： 1）登录msp平台 2）在msp平台「全部产品」导航栏中点击容器云平台模块下的工作负载 3）单击选择「Job」，进入Job列表页面，选择所需的Job，单击名称进入pod管理页面 4）在Pod管理页面，单击左侧导航的「事件」，进入事件页面，如下图所示： 查看Job YAML # 容器云平台支持查看集群内StatefulSet的YAML文件 操作步骤： 1）登录msp平台 2）在msp平台「全部产品」导航栏中点击容器云平台模块下的工作负载 3）单击选择「Job」，进入StatefulSet列表页面，选择所需的Job，单击名称进入pod管理页面 4）在Pod管理页面，单击左侧导航的「YAML」，进入YAML页面，如下图所示： 删除 Job # 容器云平台支持对集群内Job进行删除 操作步骤： 1）登录msp平台 2）在msp平台「全部产品」导航栏中点击容器云平台模块下的工作负载 3）单击选择「Job」，进入Job列表页面，选择所需的Job，单击删除/service-mesh/modules/govern-center/up-down/Mon, 01 Jan 0001 00:00:00 +0000/service-mesh/modules/govern-center/up-down/服务上下线 # 在治理中心概览或平台概览中，我们可以看到平台的上下线事件，通过点击具体的事件数字，我们可以查看服务或平台的服务上下线列表。其展现形式如下：/service-mesh/modules/gateway-center/monitor/Mon, 01 Jan 0001 00:00:00 +0000/service-mesh/modules/gateway-center/monitor/网关监控 # 通过网关监控，我们可以进一步观测网关中心运行的各项指标信息，包括如下信息： 网关节点监控 网关流量统计 网关流量分析 网关节点监控 # 查看网关节点相关的指标监控信息 网关流量统计 # 查看网关全局视角的流量统计信息 网关流量分析 # 查看网关流量分析的全局视角信息 Tips 这里的观测视角是站在“网关中心”的全局视角来观测，如果需要观测具体的“路由”监控信息，可在“路由管理”模块选定指定的路由进行观测。/service-mesh/modules/zero-access/resource/Mon, 01 Jan 0001 00:00:00 +0000/service-mesh/modules/zero-access/resource/资源管理 # 简介 # 资源可以是您希望用户通过 Zero Access 访问的任何网络地址。唯一的要求是网络地址可以从资源的远程网络中部署的服务端解析和路由。最常见的场景是： 私有资源，私有 DNS。添加私有 DNS 资源（例如, 或用于通配符范围）授权之后可以访问它，而无需更改您的 DNS 配置或公开名称解析。host.autoco.internal,*.autoco.internal 私有资源、私有 IP 或 CIDR 定义的子网。与上面类似，这是任何私有 IP 或 CIDR 范围。该地址不需要可从最终用户的设备路由。 公共目的地的 IP 白名单。您可能希望将流向公共目标（例如 SaaS 服务）的流量列入 IP 白名单。运行 Zero Access 客户端时，公共地址资源的用户流量将首先路由到配置的服务端，然后再退出到公共目的地。 资源定义 # 资源由两个特征定义： 它的地址，可以是以下之一： 完全限定域名 (FQDN)，例如。host.autoco.internal 使用一个或多个通配符的 FQDN，例如。, 其中代表 0 个或多个字符，正好代表 1 个字符。*.autoco.internal IP 地址，例如。10.1.0.35 IP CIDR 范围，例如。10.1.0.0/16 允许的端口，默认允许所有 TCP 和 UDP 端口。您可以为任何地址类型的单个资源配置端口限制。 配置资源时与之关联的远程网络。 注意：资源的配置地址是从关联远程网络中的服务端解析的地址。 注意：资源必须可以从远程网络上安装的服务端通过本地网络访问。 默认情况下，ZeroAccess 将转发任何 UDP 或 TCP 协议的流量，包括通过 ICMP 的请求，因此在定义资源时不需要端口或协议。 资源的地址解析 # 资源的地址解析是从与特定资源关联远程网络上的连接器执行的。这意味着本地 IP 地址和本地（私有）DNS 名称都将为连接到 ZeroAccess 的远程用户解析。/container-cloud/modules/workloads/cronjob/Mon, 01 Jan 0001 00:00:00 +0000/container-cloud/modules/workloads/cronjob/CronJob 管理 # CronJob 概述 # CronJob用于创建周期性以及重复性的任务。 查看CronJob列表 # 操作步骤： 1）登录msp平台 2）在msp平台「全部产品」导航栏中点击容器云平台模块下的工作负载 3）单击选择「CronJob」，进入CronJob列表页面，如下图所示： 查看CronJob监控 # 容器云平台支持查看集群内CronJob的监控，包含cpu使用量、内存使用量、网络流出速率、网络流入速率， 操作步骤： 1）登录msp平台 2）在msp平台「全部产品」导航栏中点击容器云平台模块下的工作负载 3）单击选择「CronJob」，进入CronJob列表页面，选择所需的CronJob，单击监控进入监控页面，如下图所示： 查看CronJob事件 # 容器云平台支持查看集群内CronJob的事件 操作步骤： 1）登录msp平台 2）在msp平台「全部产品」导航栏中点击容器云平台模块下的工作负载 3）单击选择「CronJob」，进入CronJob列表页面，选择所需的CronJob，单击名称进入pod管理页面 4）在Pod管理页面，单击左侧导航的「事件」，进入事件页面，如下图所示： 查看CronJob YAML # 容器云平台支持查看集群内CronJob的YAML文件 操作步骤： 1）登录msp平台 2）在msp平台「全部产品」导航栏中点击容器云平台模块下的工作负载 3）单击选择「CronJob」，进入CronJob列表页面，选择所需的CronJob，单击名称进入pod管理页面 4）在Pod管理页面，单击左侧导航的「YAML」，进入YAML页面，如下图所示： 删除 CronJob # 容器云平台支持对集群内CronJob进行删除 操作步骤： 1）登录msp平台 2）在msp平台「全部产品」导航栏中点击容器云平台模块下的工作负载 3）单击选择「CronJob」，进入CronJob列表页面，选择所需的CronJob，单击删除/service-mesh/modules/zero-access/server/Mon, 01 Jan 0001 00:00:00 +0000/service-mesh/modules/zero-access/server/ 服务端 # 简介 # 服务端是部署在防火墙后面的 ZeroAccess 组件，用于提供对私有资源的访问。连接器作为容器或 Linux服务运行。 无论您是在云基础架构中还是在本地部署服务端，它们都是您 ZeroAccess 网络的主干，允许您向世界任何地方的用户提供对资源的访问。 通过在幕后通过适当的服务端将用户路由到资源，从而将用户连接到资源。 服务端是复杂的软件定义代理 # 考虑服务端的一种更准确的方法是复杂的、集中协调的代理，它不允许超过授权的流量通过它们。在如何考虑部署和管理它们方面出现了一些差异： 名称和地址解析是本地服务端。当用户被授权访问受保护的资源时，该资源的名称和地址解析不会在用户的设备上进行，而是转发到服务端所在的远程网络。这意味着用户可以使用私有 DNS 名称和无需直接连接到目标网络即可连接到资源的 IP 地址。 单独的服务端允许用户在不更新路由权限的情况下连接到多个网络。不再需要进行网络路由或基础架构更改来支持远程访问用例。网络可以根据最佳实践进行定义和分段，并且可以根据需要在网络子网内部署服务端以支持访问。 服务端是自动集群的，可以部署以满足您不断变化的需求。服务端是纯软件的，并且在同一 ZeroAccess Remote 网络中自动集群以实现冗余。这允许您根据需要添加更多服务端以满足需求或使用的变化。 ZeroAccess 可实现非常精确的“拆分隧道”。只有发往用户有权访问的资源的流量才会从他们的设备路由到相关的服务端。这意味着流经服务端的唯一流量是发往同一远程网络上的资源的流量。 平台功能 # 服务端列表： 添加服务端：/service-mesh/modules/govern-center/fuse/Mon, 01 Jan 0001 00:00:00 +0000/service-mesh/modules/govern-center/fuse/ 服务熔断 # 什么是服务熔断 # 简介 # 当服务中的服务端接口不稳定，出现频繁超时或错误时，可能会引起服务调用雪崩。我们可以对应用开启服务熔断功能，使有故障的服务端及时返回错误，并释放系统资源，提高用户体验和系统性能。 熔断规则 # 通往各个⽬标服务单独设置 熔断器，多个服务间调⽤熔断器记录的次数互相隔离，每个请求周期熔断器监控请求的执⾏状态并记录： 请求总次数 错误次数 成功次数 连续成功次数 连续失败次数 熔断器的状态介绍 # 根据请求响应状态码判断调⽤是否成功 4xx、5xx ， 4xx以上状态码统⼀定义为失败， 当失败次数达到配置的规则时触发熔断。 熔断器有三种状态 关闭状态：当熔断器处于关闭状态时，请求是可以被放⾏的；当熔断器统计的失败次数触发开关时，转为打开状态。 打开状态：当熔断器处于打开状态时，所有请求都是不被放⾏的，直接返回失败；只有在经过⼀个设定的时间窗⼝周期后，熔断器才会转换到半开状态。 半开状态：当熔断器处于半开状态时，当前只能有⼀个请求被放⾏；这个被放⾏的请求获得远端服务的响应后，假如是成功的，熔断器转换为关闭状态，否则转换到打开状态。 熔断事件列表 # 当满足熔断规则时，熔断器打开，触发熔断，同时会生成熔断事件。“熔断事件列表”对所有熔断进行了记录，在此处可以查看到熔断的具体详情，包括 熔断时间 熔断的服务信息，包括：当前服务和下游异常服务 触发熔断的具体规则，包括： 连续错误次数达到阈值 错误率达到阈值 连续错误次数或错误率达到阈值 链路错误次数和错误率共同达到阈值 接下来阐述熔断规则相关内容。 熔断规则 # 注意，服务拥有默认熔断规则 为了更好的保护服务和系统稳定性，我们为服务配置了默认的熔断策略。规则如下：连续错误次数达到阈值熔断。错误次数阈值 5次，半开状态请求数量 1个，关闭状态清除周期 600秒，半开触发延时 30秒，请求超时 5秒。 如果你需要更宽松的熔断策略，需自行配置，否则将采用默认熔断规则。 规则列表 # 熔断规则列表展示了平台已配置的熔断规则列表。同时你还需要注意：为了服务的稳定性，我们给服务设置了默认的熔断规则。正如上面所提示的那样。 为了更好的理解熔断策略，你可以参考文章开头所讲的“什么是服务熔断”。 熔断规则配置 # 通过点击“添加熔断规则”或“编辑”按钮，我们可以得到如下的配置表单： 在此处，你可以对熔断规则进行详细配置。再次提示，为了更好地进行熔断配置，你可以本文开头所提的“什么是服务熔断”相关章节。 部分熔断参数配置说明如下： 参数 说明 maxRequests 熔断器半开时允许运⾏的请求数量 默认设置为：1，请求成功则断路器关闭 Interval 熔断器处于关闭状态时的清除周期，默认600s，如果⼀直是关闭则不清除请求的次数信息 timeout 熔断器出于打开状态时，经过多久触发为半开状态，默认30s,之后有请求则会触发状态/service-mesh/modules/gateway-center/logs/Mon, 01 Jan 0001 00:00:00 +0000/service-mesh/modules/gateway-center/logs/网关日志 # 网关中心日志可以查看经过网关的每一个请求的详情，如下所示： 日志趋势 # 我们通过图表，列出了符合搜索条件的网关日志分布情况： 通过点击具体的状态码标签，可进行筛选 我们还可以通过“滑动”一段时间范围，来应用该时间范围作为搜索条件： 日志详情 # 在确定完搜索条件后，我们可以以“表格”的形式来查看网关日志，如果我们需要查看某条记录的更多信息，可点击表格前方的“箭头”。 目前支持两种视角查看详细信息： 表格 JSON 表格视角查看日志详情 JSON视角查看日志详情/service-mesh/modules/govern-center/limit/Mon, 01 Jan 0001 00:00:00 +0000/service-mesh/modules/govern-center/limit/服务限流 # 限流类型 # 目前平台包含两种类型的限流：分布式限流、自适应限流。 其中分布式限流由用户自行配置，指定服务后配置限流周期和该周期内的限流次数即可。 自适应限流策略，可根据服务的运行状态进行自适应变化。当前我们采用 codel 自适应流量控制，具体策略可参考文末。 限流事件列表 # 在治理中心概览或平台概览中，我们可以看到平台的资源预警事件，通过点击具体的事件数字，我们可以查看服务或平台的资源预警列表。其展现形式如下： 目前包含两种限流类型：分布式限流和自适应限流。 Tips 为了服务和系统的稳定，默认会给所有服务开启自适应限流。 规则列表 # 系统默认给服务开启自适应限流。 通过“添加限流规则”或“编辑”按钮，我们可以对分布式限流规则进行配置： 其中各参数解释如下 参数 说明 服务识别号 需要配置分布式限流的服务识别号信息 周期内限流次数 该参数和“限流周期”配合使用，指定限流周期内达到访问次数，即满足限流条件 限流周期 该参数和“周期内限流次数”配合使用，指定限流周期内达到访问次数，即满足限流条件 是否开启针对单个API限流 针对单个 API 限流时，需要配置具体的 path 规则是否打开 是否开启自适应限流 附录：自适应流量控制 - CoDel # CoDel 介绍 # codel （ Controlled Delay）是⼀种⽤于过载检测的“受控延迟”算法，提供了⼀种在过载时释放负载的机制。即使在下⾏速率动态变化的情况下，它也可以优化延迟，同时保持较⾼的吞吐量。 codel 通过在请求等待时间较⻓时预先减少⼀些负载，从⽽即使在严重过载时也可以保持较低的等待时间。在负载突发时，系统不能及时处理所有的请求，使⽤codel可以主动丢弃排队时间久的请求，从⽽可以减少处理队列中条⽬在队列中的等待时间。 在10秒内模拟1000条请求/秒的传⼊，服务以500条请求/秒速率运⾏，并发量设置在10时，这是使⽤队列和使⽤ codel 的相应吞吐量和延迟。可以看出在服务吞吐量基本持平情况下， codel 对于请求延时有较好程度的改进。 CoDel运行原理 # CoDel是tcp拥塞控制的算法之⼀，它的运⾏仅仅需要两个参数，即target和interval： target：理想情况下，数据包的最⻓排队延时。 interval：在触发CoDel开始丢包前，持续的数据包排队时间超过target的最⻓忍耐时间。 CoDel算法并没有严格限制数据包在队列⾥⾯待的时间，即排队延时不超过target。⽽是给予了⼀个interval时间段 的窗⼝，CoDel完全没有使⽤队列⻓度区间阈值或者排队时间区间阈值。⽽是限制了⼀个理想的排队延时，同时给 了⼀个排队延时万⼀超过理想排队延时后的良性收敛机会，只要在给定的机会内收敛了流量，便不会触发CoDel丢 弃请求，如果流量依旧不收敛，那么CoDel算法将会对队列⾥⾯的数据包所属的流量进⾏越来越严厉的惩罚（丢 包）促使系统回归到正常处理速率！ BBR 与 CoDel # 本段描述，已经有了BBR是否还需要CoDel 队列的缓冲⼤⼩和处理速率之间不匹配是导致缓冲膨胀的本质。它会产⽣较⼤的延迟，但不会提⾼吞吐量。CoDel/service-mesh/modules/zero-access/client/Mon, 01 Jan 0001 00:00:00 +0000/service-mesh/modules/zero-access/client/ 客户端 # 简介 # 客户端是部署存在用户本地的ZeroAccess组件，用户提供对服务端/中继端的访问，客户端可在容器或者系统服务运行。客户端的作用是充当用户对私有资源的请求的组合身份验证和授权代理。 考虑服务端的一种更准确的方法是复杂的、集中协调的代理，它不允许超过授权的流量通过它们。在如何考虑部署和管理它们方面出现了一些差异： 客户担任多个角色，包括： 检测对受保护资源的网络连接请求。当检测到网络连接时，客户端会检查目标地址，无论是 IP 地址还是 FQDN。如果目标地址与 ACL 中的资源匹配，则将通过 ZeroAccess 启动到远程网络的连接。 代理受保护资源的 DNS 请求。对于对受保护资源的网络请求，DNS 请求被转发到远程网络服务端以进行解析。这意味着即使客户端在不同的网络上，受保护资源的 DNS 查找始终在本地解析。 代理受保护资源的 TCP 和 UDP 流量。客户端使用透明代理将任何 TCP 或 UDP 端口/协议的流量转发到受保护的资源。这意味着用户设备上不需要应用程序配置。用户设备上的应用程序似乎直接连接到远程资源，即使它们在没有 ZeroAccess 的情况下无法从设备路由。 使用适当的服务端建立证书固定的 TLS 隧道。客户端负责与适当的服务端建立加密隧道以访问受保护的资源。 平台功能 # 客户端列表： 添加客户端：/service-mesh/modules/runtime/message/Mon, 01 Jan 0001 00:00:00 +0000/service-mesh/modules/runtime/message/异步消息 # 简介 # 异步消息体系采用PubSub即发布/订阅模式允许微服务彼此使用消息进行通信。消息的生产者将消息发送到Topic（话题）无需关心什么应用程序将收到他们的消息。类似地，消费者订阅该主题并接收消息，而无需知道产生这些消息的服务是什么。Sidecar承担中间消息代理负责将消息从消息生产者转移到对该消息感兴趣的所有消费者。当需要将微服务彼此分离时，这种模式特别有用。 概览 # 下图展示了服务A通过SDK或者直接的API调用sidecar的/v1.0/publish接口发布消息。订阅消息的服务对应的sidecar通过调用服务的接口推送订阅消息，服务的具体接口是从上述订阅设置部分所声明的方式在sidecar中设置或者从服务的对应接口拉取。 功能亮点 # 至少一次消费，Sidecar确保该消息将至少一次发送给每个消费程序。 消息生存时间TTL。发布消息时可以为每个消息设置超时时间，这意味着如果超时未从PubSub组件中读取该消息，则该消息将被丢弃。从而让业务无需关心过期消息的处理。 竞争消费者，同一个unique id的消费者互为竞争关系，在推送订阅消息时只有一个实例会收到。不同unique id意味着不同消费者，在消息推送时会推送给所有的消费者。 在社区基础上自研完成了对redis cluster作为消息中间件进行支持。 多种消息中间件支持。sidecar对上层业务提供统一的API规则和统一的消费订阅能力，业务无需关心不同的消息中间件细节。 全链路追踪支持。异步消息的发布和消费可以在同一条trace中展示。 名词解释 # pubsubname 在使用异步消息时所使用的的引擎名称，是引擎的唯一标识。这里的引擎概念是异步消息体系中承载信息的中间件载体。在设计上允许服务使用多个引擎，通过pubsubname标识对不同的引擎的使用。在msp中创建了一个默认的redis 集群模式的引擎，中台的普通服务可以直接使用此引擎就可以。 Topic 如果有过消息队列的使用，对这个概念会很熟悉。Topic或者说主题是一条消息的队列，异步消息通过Topic来分类消息，不同Topic间的数据是相互隔离的。一个Topic会有发布消息的服务和订阅消息的服务，这两个都可以是多个。即服务A、B…可以在TopicXXX上发布消息，服务D、E…可以在TopicXXX上订阅消息。当然前提是在msp上配置了这种规则。 metadata 对于go服务和PHP服务是不会感知此概念，已经在sdk内部进行了封装。如果是其他服务需要使用异步消息功能，且用到ttl功能时，需要在metadata中附带ttl信息。 route 在后文的订阅Topic配置中出现此定义。代表当前Topic有消息时，sidecar会回调用服务此接口，将订阅的消息推送给服务。其值为接口路由path，不带"/“前缀。 平台使用 # 消息引擎 # 对于正常业务来说，不会涉及到添加引擎操作，如果是中台普通服务使用可以跳过添加引擎的设置。 消息的传递需要载体，也就是所说的消息引擎，我们目前提供四种类型的消息引擎，分别是 kafka、 rabbitmq 、redis 以及 rediscluster。同时，为了便于开发者添加引擎，我们针对四种引擎抽象了对应的四种模板 创建引擎 # 注：为方便中台使用，已事先创建好底层驱动为redis集群的引擎，业务方无需再次创建 消息组件 # 一个消息组件就是一个服务在指定引擎下的所有发布订阅规则集合。 创建组件 # 引擎创建完毕之后，可针对开发者自己的服务创建对应的消息组件 查看组件 # 已经添加的消息组件都可以在列表页面展示 消息遥测 # 针对已经接入异步消息服务的用户，msp平台提供了基于主题以及服务多个视角的遥测功能，可以在任意时刻看到某一服务、某一主题的各种状态，便于业务方了解当前消息处理的健康度。 发布介绍 # gosdk 和 phpsdk # 对于go语言和php语言，已经将发布订阅的功能集成进SDK，对于使用方来说就是一个函数调用。例如对于go服务来说一个调用示例如下： client, _ = gosdk.GetNewClient(_header) res, err := client./service-mesh/modules/zero-access/deploy/Mon, 01 Jan 0001 00:00:00 +0000/service-mesh/modules/zero-access/deploy/ 部署 # 简介 # ZeroAccess 客户端、服务端、中继端组件的基础应用程序为同一程序，仅自身证书不同，应用程序部署，支持多种部署模式，以下介绍容器部署和自定义部署两种模式。 注意 # 默认服务端不提供tls服务，客户端无法直接与服务端进行加密通信。 服务端部署需要提供加密通信，可使用nginx代理，并提供证书，让其能够被客户端/中继端访问到，进行加密通信 Docker部署(推荐) # docker run -d --name zero-access-xxx \ -e "CA_PEM=xxxxxx" \ -e "CERT_PEM=xxxxxx" \ -p 8080:8080 \ harbor.oneitfarm.com/bifrost/zero-access docker命令中 CA_PEM为对应组件的根证书经过base64加密后的内容 CERT_PEM为对应组件的根证书经过base64加密后的内容 端口映射为添加对应组件时填写的监听端口号 自定义部署 # 下载ZeroAccess应用程序：https://github.com/Murphy-hub/zero-access/releases 下载响应证书文件 在应用程序同级别目录中新建cert目录，将CA_PEM证书保存至cert目录中，命名为ca.pem，将CERT_PEM证书保存至cert目录中，命名为cert.pem 启动命令：backend -c config.toml/service-mesh/modules/govern-center/trace/Mon, 01 Jan 0001 00:00:00 +0000/service-mesh/modules/govern-center/trace/服务链路追踪 # 链路追踪为分布式应用的开发者提供了完整的调用链路还原、调用请求量统计、链路拓扑、应用依赖分析等工具，可以帮助开发者快速分析和诊断分布式应用架构下的性能瓶颈，提高微服务时代下的开发诊断效率。 查看链路列表 # 链路列表汇总了平台或服务的链路信息，你可以 搜索链路信息 查看链路详情、分析应用依赖等 链路信息查看 # 平台提供三种视角的链路信息查看：列表、树结构、表格。 列表 # 链路信息列表 如上图所示，我们可以很方便的看到 该链路下各 span 的父子信息 直观查看到各 span 的耗时情况，便于定位高耗时 span 鼠标悬浮在对应的 span 上，可以看到该 span 的耗时详情： 鼠标悬浮 span 查看该span耗时详情 同时，我们点击对应的 span 可以看到该 span 的更多信息： 点击对应 span 查看详情 在“跨度(span)”的详情中，我们可以看到该跨度的更多信息，针对不同的 span 组件，可显示不同的信息，如： 对于 MySQL 组件，我们可以查看数据库连接信息、SQL Statement等 对于 CURL 组件，我们可以查看到 peer 信息 树结构 # 切换为“树结构”信息后，我们可以以 Tree 的方式来查看链路信息。同样，我们悬浮或点击对应的 span 可以查看更多信息。 表格 # 切换树结构，我们可以以 Table 的方式来对链路信息进行一览。同样，点击各 span 可以查看更多的 span 信息。/service-mesh/modules/gateway-center/kanban/Mon, 01 Jan 0001 00:00:00 +0000/service-mesh/modules/gateway-center/kanban/服务流量监控 # 通过服务流量监控，我们可以看到三个级别的网关数据，其视角由大到小为： 平台级别网关数据 服务级别网关数据 接口级别网关数据 通过切换 Tab，我们可以查看不同视角的网关监控数据。 平台级别网关数据 # 吞吐类指标 # 进出方向流量统计 网关流量流入、流出的服务排名 RPS信息 HTTP 异常类指标 # 可以查看经过网关的请求整体的异常状态码（3xx、4xx、5xx）分布情况，同时我们还可以看异常服务的排名情况，方便用户进一步定位高频异常服务。 延迟类指标 # 延迟类指标展示了请求的：总耗时、后端服务耗时、网关处理耗时。同时列出高延迟服务排名，方便用户定位高延迟服务。 服务级别网关数据 # 通过平台视角，我们可以定位出瓶颈服务。在服务视角，我们可以观测到该服务下的所有接口信息。 吞吐类指标 # 相较于”平台视角“的吞吐类指标，这里可以观测到该服务的流量统计，同时会对高流量接口进行排序。 HTTP 异常指标 # 相较于”平台视角“的HTTP异常指标，这里可以观测到该服务的HTTP异常状态码统计，同时会对高频异常接口进行排序。 延迟类指标 # 相较于”平台视角“的延迟类指标，这里可以观测到该服务的延迟指标，同时会对高延迟接口进行排序。 接口级别网关数据 # 在”服务视角“中，我们看到了服务下的接口排名信息，通过点击对应的接口，我们可以进一步查看接口的网关数据信息。 点击接口，查看网关数据 接口表现/service-mesh/modules/runtime/secret-storage/Mon, 01 Jan 0001 00:00:00 +0000/service-mesh/modules/runtime/secret-storage/机密存储 # 概述 # 应用程序通常会需要获取敏感信息，例如数据库信息、敏感环境变量信息，密钥和token等，这些信息通常用于连接数据库，对服务和外部系统进行身份验证。 通常，这些信息以及其他应用程序需要的敏感信息会在机密存储（例如Hashicorp Vault和其他）组件中进行存储。要访问这些机密信息，应用程序需要导入机密存储SDK，并使用它来访问机密。这可能需要大量与应用程序的实际业务领域无关的样板代码，特别是在使用不同供应商特定秘密存储的多云场景中，这成为更大的挑战。 为了使各地的开发人员更容易使用应用程序机密存储，SideCar提供专用的机密构建模块API，允许服务从机密存储中获取机密信息。并且配套了相关的平台建设。 使用场景 # 一般而言，服务容器中数据库连接信息等直接打在业务容器环境变量中，其真实的值暴露在整个部署环路。通过使用机密存储，可以将数据库连接信息等存储在机密存储中，避免直接在环境变量中和部署环路中暴露。对机密信息的修改。在sidecar层可以对服务可以获取的机密存储信息进行限制。 比如以下各项敏感信息可以存储在机密信息中： mysql配置 敏感环境变量配置 公私钥配置 平台使用 # 引擎配置 # 一般来说，引擎会在平台上已经配好，对于普通服务开发者，只需要引用就好了。 机密存储分为公有机密存储和私有机密存储。公有机密存储用于存储所有服务通用的信息，且不允许服务使用，主要用于存储异步消息引擎、私有机密存储引擎、以及后续会建设的缓存引擎的连接信息和密码信息等敏感数据。 私有机密存储是用于存储服务机密信息的，服务只能使用私有机密存储。 公有机密存储 # 公有机密存储用于存储所有服务通用的信息，且不允许服务使用。主要用于存储平台上的一些敏感信息，如异步消息引擎、私有机密存储引擎、以及后续会建设的缓存引擎的连接信息和密码信息等敏感数据。 比如在平台上的公有机密存储中存储私有机密存储的访问地址和访问token。path为privatevault，key分别为address和token。 私有机密存储 # 私有机密存储是用于存储服务机密信息的，服务只能使用私有机密存储。服务在机密信息配置页面，可以配置使用的机密存储引擎，这些引擎就是私有机密存储引擎。 引擎配置项 # 引擎配置项的每个字段在msp界面上都有介绍，可以悬挂鼠标到字段后的小问号查看。这里整理了一份所有配置信息的描述。 这里有几个非常关键需要注意的字段： enginePath指定的是vault引擎。不同的enginePath是不同的数据存储区，相互之间数据是强隔离的。但是一般来说，对于服务使用方这个字段不需要太过了解。 vaultKVPrefix是vault中存储key的前缀.通常用于不同的服务间的数据隔离，服务需要自定义此字段为一个引擎内唯一的值。当然两个服务也可以指定相同的值，两个服务获取的数据源就会是同一份，在对机密信息进行管理的时候就会相互可见。 memoryLimit是缓存最高内存限制.单位是字节。默认1M。0为禁止缓存。出于性能考虑默认情况下缓存是开启的，每个服务可以设置为0来禁止自己的sidecar使用缓存。 参数 是否必填 详情描述 示例 vaultAddr Y Vault server访问地址. 默认值 "https://127.0.0.1:8200" "https://127.0.0.1:8200" caCert N CA校验，使用此3字段中的一个即可. 编码后的ca证书 "cacerts" caPath N CA校验，使用此3字段中的一个即可.ca证书文件路径 "path/to/cacert/file" caPem N CA校验，使用此3字段中的一个即可.pem格式编码的ca证书 "encodedpem" skipVerify N 跳过 TLS 校验. 默认值 "false"不跳过。 "true", "false" tlsServerName N TLS server name 配置 "tls-server" vaultTokenMountPath N vault 访问 token的本地文件路径，与vaultToken必须有一个是配置过的。 "path/to/file" vaultKVPrefix Y vault中存储key的前缀./service-mesh/modules/zero-access/relay/Mon, 01 Jan 0001 00:00:00 +0000/service-mesh/modules/zero-access/relay/ 中继端 # 简介 # 中继是 ZeroAccess 架构中最简单的组件。中继站中不存储任何数据或网络可识别信息，中继站不终止任何承载数据的连接。 Relay的基本职责是： 作为ZeroAccess基础服务设施。中继端作为ZeroAccess基础服务设置，可以存在现实地理中的位置，可用于加速网络线路，挂载CDN增强抵抗DDOS攻击 作为客户端连接的中间代理组件。作为客户端连接服务端中间的代理组件，用户网络加速，抵抗DDOS作用。 充当希望与服务端建立连接的客户端的连接点。在验证客户端请求合法后，入站连接包含对特定服务器的请求。这允许中继将客户端直接连接到请求的服务端，以建立单个证书固定的 TLS 隧道。这是在没有任何关于连接中涉及的源和目标网络、客户端或服务端的特殊知识的情况下完成的。 平台功能 # 中继端列表：/service-mesh/modules/govern-center/topo/Mon, 01 Jan 0001 00:00:00 +0000/service-mesh/modules/govern-center/topo/服务链路拓扑 # 通过查看服务的拓扑关系，我们可以很方便的分析服务的依赖和对应的流量信息。 拓扑视角 # 悬浮查看服务信息 # 点击服务查看更多指标 # 点击服务查看指标信息 查看链路信息 查看日志信息 雷达图视角 # 通过雷达图视角，我们可以更为直观的查看不同服务的依赖数量。/service-mesh/modules/gateway-center/settings/Mon, 01 Jan 0001 00:00:00 +0000/service-mesh/modules/gateway-center/settings/配置管理 # 通过配置管理，我们可以对平台的网关进行全局配置。 配置管理 具体的插件配置 注意 此处的配置会影响网关的全局表现，需谨慎操作/service-mesh/modules/govern-center/db/Mon, 01 Jan 0001 00:00:00 +0000/service-mesh/modules/govern-center/db/服务数据库 # 通过服务数据库模块，我们可以查看数据库的整体性能表现，包括： 数据库响应时间 数据库负载（每分钟请求量） 数据库百分比响应 数据库慢查信息 目前分为两个视角观测： 1）指定的数据库视角 2）平台级别，所有数据库的整体表现 指定数据库表现 # 选定数据库后，查看该数据库的表现 所有数据库整体表现 # 该时间段内，所有数据库的宏观表现 查看慢查详情 # 通过点击对应的慢查语句，我们可以看到该 SQL 所在的 span 详情和 Trace 信息。 SQL所在span信息 SQL所在链路信息/service-mesh/modules/govern-center/apm-warning/Mon, 01 Jan 0001 00:00:00 +0000/service-mesh/modules/govern-center/apm-warning/APM告警 # 该模块列出了平台上报的 APM 告警信息。/service-mesh/modules/govern-center/traffic/mirror/Mon, 01 Jan 0001 00:00:00 +0000/service-mesh/modules/govern-center/traffic/mirror/流量镜像功能测试 # 一、开发环境流量镜像 # 1.1 场景描述 # ServiceA 调用ServiceB服务，ServiceB服务新增版本v2，v2开发阶段在开发容器测试服务健壮性；此时v2有公网访问地址http://ws-serviceB-gwxxx.oneitfarm.com，此时通过配置host直接把线上流量镜像到开发容器 1.2 配置示例 # 1.2.1 json配置参考 # { "to_unique_id":"sal2000189a2f457210330eaeomi002t", # 正式环境serviceB服务uniqueID "last_update_time": 1600000123123, "routers": [ { "match":{ "prefix":"*" }, "routes": [ { "weight": 100, "metadata": { "version": "0.2.17" } } ], "mirror":[ { "host":"http://123.56.247.84:39210", # 公网接收流量地址 "percent":100 # 百分百镜像流量 } ] } ] } 1.2.2 平台界面配置 # 1.2.3 感应配置日志 # 1.2.4 请求日志 # 左侧为目标服务正常接收流量，每次接收到请求后打印请求数据及头部标识 右侧为镜像服务地址http://123.56.247.84:39210 ，每次接收到请求打印请求数据及头部标识 观察可发现，正常服务请求标识中无x-request-type:shadow标识，镜像流量携带标识，业务侧可根据请求头判断流量属性做相应处理 二、蓝绿发布流量镜像测试 # 2.1 场景描述 # ServiceA 调用ServiceB服务，ServiceB服务新增版本v2，v2版本上线到正式环境先不接收真实流量；通过镜像配置接收流量查看服务是否正常，有无错误日志，是否符合预期；做正式上线前的最后一步测试。/service-mesh/modules/govern-center/traffic/route/Mon, 01 Jan 0001 00:00:00 +0000/service-mesh/modules/govern-center/traffic/route/一. 服务流量牵引的背景 # 1.1 流量类型属性 # 南北流量：从网关到集群应用的流量既客户端浏览器和服务器之间的流量被称为南北流量。 东西流量：应用到服务之间，服务到服务之间的流量，即不同服务器之间互相调用的流量。 1.2 核心概念说明 # 二. 东西方向流量负载均衡模式 # 2.1 默认负载均衡 # Mesh架构采用客户端负载均衡策略，根据sidecar启动时上报到动态注册中心的weight计算流量比例，weight值从环境变量里读取 IDG_WEIGHT，当环境变量里缺少此配置或此配置小于等于0时，默认weight=10 2.2 流量牵引 - 两级负载均衡 # 配置流量牵引规则后，兼容Mesh默认负载均衡策略，流量首先经过流量牵引规则计算当匹配到多个目标实例时再根据系统默认策略计算具体实例 服务发布使用金丝雀、蓝绿、AB等策略时，防止部署的新版本一上线立马接收流量，需要在部署前先配置流量牵引策略，首先把所有流量牵引到正常版本，新版本部署完成后逐步调整流量比例，牵引流程： 配置流量牵引规则 => 部署新版本 => 调整流量比例 => 下线旧版本 => 删除流量牵引规则 三. 流量牵引模式支撑范围 # 3.1 金丝雀发布 # 3.1.1 简介 # A => B，B发布V2版本后，牵引10%流量到V2版本，经过测试V2版本正常后，不断增大V2版本副本数及流量比例直到将100%的流量都切换到新版本上，最后关闭剩下的老版本服务，完成金丝雀发布。 3.1.2 发布流程 # 未部署v2.0版本之前，先配置流量牵引规则，调用控制面POST /govern/router 接口，新增或修改规则，规则配置完成后此时尚未部署v2.0版本，流量依然全部走v1.0版本 { "to_unique_id": "testBBB", "last_update_time": 1618458126111, "routers": [ { "match": { "prefix": "*" # 匹配所有流量 }, "routes": [ { "metadata": { "version": "v1./service-mesh/modules/govern-center/custom-metrics/Mon, 01 Jan 0001 00:00:00 +0000/service-mesh/modules/govern-center/custom-metrics/自定义监控 # 一、自定义监控能干什么 # 1.1 功能说明 # MSP自定义监控功能，提供了基于服务粒度的，自定义时序监控的能力。 这里对其中的关键词做补充说明： 服务粒度：即提供的监控功服务于单个服务(以unique_id区分)。各服务之间的监控相互独立，且应根据自身服务特点，设定不同的监控。 自定义：即提供接入方自行控制的监控指标。如：订单团队可以发送下单量相关的监控数据、用户团队可以发送注册用户数量相关的监控，针对自身服务特点和关键的业务指标、性能指标做监控。 时序监控：即发送的数据带有“时序”特征。每次发送的指标代表了发送时刻的数值，这样我们就可以构建出基于时间范围的指标数据，用以分析指标的趋势或特征。 1.2 使用场景参考 # 接下来列出几种自定义监控可以应用的经典场景，让我们看看自定义监控可以发挥的能量。 1.2.1 场景一：监控商城的每分钟订单量 # 系统的运行除了关注基础的系统指标（如内存指标、CPU指标）外，我们还要关注其业务指标。对于一个正常的，运行稳定的系统，其对外表现的整体业务特征应具有规律性。 如，正常情况下，一个运行正常的商城订单服务，其订单量应该在一个稳定的区间内波动。订单量可以作为此服务稳定性的一个关键业务指标。 当下单量出现剧烈波动时，我们需要提高警惕，如：订单量激增时，是否是营销团队正在做促销，还是被羊毛党薅羊毛导致。订单量突降时，是发布了新版本导致功能异常，还是依赖的第三方服务异常导致。 基于上述可能的情况，为了保障业务的稳定性，提高我们队系统的信心，我们需要对订单量进行监控。 伪代码样例 // 我们 MSP 建立一个发送KEY new_order，用来表示发送时刻新增的订单量 function newOrder(){ // 处理新增订单逻辑时，发送数据至 MSP $metrics->sendSimpleMetrics('new_order', 1); } 绘制出时序图像样例 通过对订单量的监控，MSP可以自动绘制出类似上述表示的监控图形，提升业务系统的可观测性，在下述场景中发挥巨大价值： 发布新功能时，观测是否对系统稳定性造成影响 进行营销活动时，评估活动价值 基于指标进行自动化策略预警，进行自动化值班建设 用户行为画像建设 其他更多场景 1.2.2 场景二：分析业务中关键函数的处理时间 # 自定义监控功能除了应用在业务领域之外，还可以应用在服务治理角度。 建设我们的系统中有个同步高延时处理（可能是个大文件处理，亦或是依赖了某第三方服务），为了对此处理进行更好的观测，我们可以将其处理时间进行监控。 伪代码样例 // 我们 MSP 建立一个发送KEY func1_time_usage，用来表示函数 func1 的耗时 function func1(){ // 函数开始地方获取当前时间戳 $startTimestamp = .... // ... 在函数结束的地方计算当前函数耗时 $metrics->sendSimpleMetrics('func1_time_usage', $endTimestamp - $startTimestamp); } 绘制出时序图像样例/service-mesh/modules/govern-center/lifecycle/Mon, 01 Jan 0001 00:00:00 +0000/service-mesh/modules/govern-center/lifecycle/应用生命周期 # 通过应用生命周期管理，我们可以查看整个应用从部署到运行的各阶段信息。 我们可以在“应用生命周期管理”模块中看到当前可供查询的服务列表，点击具体的操作，即可查看对应生命周期的信息。目前支持以下信息： CI 构建流水线 制品库 CD 部署流水线 Mesh 运行时 CI 构建流水线 # 构建日志查看 # 通过构建日志，我们可以看到 CI 构建流水线的执行详情，包括： 任务信息 构建的阶段和每个阶段的耗时 CI 构建流水线 —— 构建日志的查看 构建时序 # 构建时序用于查看在构建任务执行时的资源占用统计。 CI 构建流水线 —— 构建时序信息查看 制品库 # 制品库信息查看 通过制品库信息查看，我们可以了解该应用的制品信息。 CD 部署流水线 # 通过 CD 部署流水线，我们可以看到以下信息： 部署 Worker 日志 K8S Pod 事件 网关 Ingress 路由 部署 Worker 日志 # 部署 Worker 日志 K8S Pod 事件 # K8S Pod 事件 网关 Ingress 路由 # 网关 Ingress 路由/service-mesh/modules/govern-center/response-cache/Mon, 01 Jan 0001 00:00:00 +0000/service-mesh/modules/govern-center/response-cache/一、无感响应缓存背景 # 1.1 背景描述 # 服务稳定性对于微服务至关重要，尤其对于高负载、响应体过大、响应过慢类型的微服务。响应缓存可作为系统稳定性提升的一个重要手段，可以极大减轻微服务后端的负载。针对频繁重复请求的后端接口配置响应缓存后一方面减少后端服务自身负载提高稳定性，另一方面可以减少整个调用链路的延迟，提高访问速度。 1.2 请求流程图 # ① 服务A调用服务B /info接口 ② 请求首先到达服务B sidecar，根据请求查找缓存，没有则发起转发请求到服务后端 ③ 服务后端响应数据到sidecar ④ sidecar把响应结果缓存到高速内存中 ⑤ sidecar返回/info请求结果 ⑥ 服务A再次发起/info调用 ⑦ 服务B sidecar 直接返回缓存数据 1.3 功能配置流程 # 由控制面提供统一api配置响应缓存功能的开启、关闭、清除缓存等；控制面把配置统一下发到redis，sidecar实时感应配置 二、无感缓存平台功能 # 2.1 规则配置 # 2.2 指标遥测界面 # 三、使用场景&测试展示 # 3.1 地区服务使用场景 # 地区服务作为中台基础服务提供查询全球地区的功能，每次请求时根据请求参数查询数据库中地区列表返回相应的数据；地区服务提供的功能是一种读多写极少的功能，可以配置响应缓存功能提高服务吞吐、降低数据库查询压力； 3.2 规则配置示例 # 缓存占用sidecar最大内存 50M 缓存没有过期时间 地区服务所有的接口都开启响应缓存功能 缓存key计算规则为，请求uri + method + 所有get参数 + 所有post参数 缓存未命中时请求后端服务，后端服务响应状态码为200，301，404时记录缓存 { "unique_id": "地区服务uniqueID", "last_update_time": 1600000123123, "max_memory_size": 50, "ttl": -1, "caches": [ { "match": { "prefix": "*" }, "cache": { "key": { "params": { "GET": ["*"], "POST": ["*"] } }, "response_code": [ 200, 301, 404 ] } } ] } 3./service-mesh/modules/govern-center/bi/Mon, 01 Jan 0001 00:00:00 +0000/service-mesh/modules/govern-center/bi/数据 BI # 通过“数据BI”功能，我们可以对服务的数据进行自定义分析，以满足不同的运营需求。其实现的效果如下 使用步骤 # 使用步骤如下： 1）给服务新增 Dashboard 2）在 Dashboard 中配置 Panel 3）信息查看 给服务新增 Dashboard # 当首次进入 “服务BI数据” 模块时，直接点击“去配置”按钮即可。 服务无 BI 数据时，点击“去配置”按钮即可配置 数据 BI 管理页面 Tips 正确填写服务识别号后，就可以在服务治理详情的“数据BI”菜单，看到该 Dashboard 在 Dashboard 中配置 Panel # 添加完 Dashboard 后，我们需要配置 Panel 信息，主要分为两块： 1）Panel 的 UI 信息（布局、图表样式） 2）Panel 的数据信息（查询语句） 点击 “add panel”按钮来添加 Panel panel添加成功 点击"Add an empty panel" panel具体配置 信息查看 # 经过上述的配置，可以在服务治理中心的“服务BI数据”菜单中查看具体信息。/service-mesh/modules/govern-center/gateway/Mon, 01 Jan 0001 00:00:00 +0000/service-mesh/modules/govern-center/gateway/ 服务网关数据 # 通过“服务网关数据”，我们可以观测到服务相关的网关信息，包括： 服务注册的网关路由信息 该服务的网关监控数据，包括 服务级别数据：查看服务视角的数据 接口级别数据：查看该服务下的接口粒度的信息 流量统计：该服务网关的流量统计 流量分析：该服务的流量分析 服务网关路由 # 理由列表 # 服务路由列表查看 路由详情 # 路由信息和路由监控 # 点击“查看详情”，可查看该路由的详细信息，包括：路由信息、路由监控信息。 路由详情&路由监控(流量统计) 网关开放能力 # 通过“网关开放能力”，我们可以管控该服务的网关能力，如：开启 auth 认证、进行 cors 处理等。 如果是初次使用，需要进行“初始化”动作。 服务网关监控看板 # 网关监控看板可以查看以下信息： 服务级别网关数据 接口界别网关数据 流量统计 流量分析 Tips 网关监控看板信息查看的视角可以“由粗到细”的方式进行。即：先查看服务级别的数据，在服务视角下，可以看到该服务包含的接口信息，通过点击 具体的接口，可以查看接口的网关信息。 当然，你也可以直接复制对应的API地址，然后在“接口级别网关数据”中输入查询。 服务级别网关数据 # 接口级别网关数据 # 通过在“服务级别”的统计页面，点击具体的接口，可查看接口的网关数据。 服务级别网关数据 接口级别的各项网关数据 流量统计 # 流量分析 #/service-mesh/modules/govern-center/chaos/Mon, 01 Jan 0001 00:00:00 +0000/service-mesh/modules/govern-center/chaos/混沌工程 # 通过混沌工程，我们可以模拟多种故障，进而对系统的脆弱边界进行探测，进一步建立对系统的信心。 我们把每一种故障的模拟称之为“实验”。当前平台提供四种场景，共 13 个实验，基本覆盖了平时开发过程中遇到的大部分场景。 平台功能 # 实验列表 # 实验列表展示了当前该服务已经执行过的实验和统计。 新实验 # 我们可以给服务新建特定的实验进行混沌工程。具体的实验类型和参数说明可见后文。 实验详情 # 我们可以看到具体实验执行的详情。同时还可以在此处对暂停的实验进行启动操作（或对部分运行的实验进行暂停，具体看该实验持续的时间）。 Pod 故障（Pod Chaos） # Pod 故障用于模拟可能发生的 Pod 类型故障。具体如下 Pod Failure # 进行该实验时，会使用 gcr.io/google-containers/pause:latest 来替换 pod 默认的镜像。 Pod Kill # PodKill 的具体实现其实是通过调用 API Server 发送 Kill 命令。 参数 说明 Grace period Optional. Grace period represents the duration in seconds before the pod should be deleted Container Kill # 选择对应的 container，即可发送 kill 指令。 网络攻击（Network Chaos） # Partition # A network partition is a division of a computer network into relatively independent subnets, either by design, to optimize them separately, or due to the failure of network devices。这里我们简单理解为网络隔离。/service-mesh/modules/govern-center/fault-isolation/Mon, 01 Jan 0001 00:00:00 +0000/service-mesh/modules/govern-center/fault-isolation/故障隔离 # 服务在运行过程中可能会发生不可预知的故障，在这种情况下，我们可以通过故障隔离功能来使故障实例暂停服务。这样做有两个好处 暂停故障实例流量，保障服务整体的可用性。 保存故障实例的现场，便于事后分析。 切换流量状态 # Tips 流量状态同步可能存在延时，切换状态后，可手动刷新最新状态。 切换流量状态后，该服务实例不再接收新的流量，即：对外暂停提供服务。