首页> 中国专利> 集群内核版本更新方法、装置、电子设备和存储介质

集群内核版本更新方法、装置、电子设备和存储介质

摘要

本申请公开了一种集群内核版本更新方法、装置、电子设备和存储介质,涉及云计算技术领域,可应用于云平台。其中方法包括:在监测到集群中存在目标机器的情况下,监测所述目标机器是否正在执行任务;所述目标机器为当前内核版本不为目标版本的机器,所述目标版本为与所述集群的业务特性相适配的内核版本;若所述目标机器未执行任务,则将所述目标机器的内核版本更新为所述目标版本;若所述目标机器正在执行任务,则在所述目标机器执行所述任务之后,将所述目标机器的内核版本更新为所述目标版本。本申请能够实现集群机器内核版本的在线更新,能够适用于集群机器大规模增长的需求,确保了大规模集群机器内核版本的一致性。

著录项

  • 公开/公告号CN112527368A

    专利类型发明专利

  • 公开/公告日2021-03-19

    原文格式PDF

  • 申请/专利权人 北京百度网讯科技有限公司;

    申请/专利号CN202011399604.X

  • 发明设计人 郭少刚;

    申请日2020-12-02

  • 分类号G06F8/656(20180101);

  • 代理机构11243 北京银龙知识产权代理有限公司;

  • 代理人黄灿;李向丹

  • 地址 100085 北京市海淀区上地十街10号百度大厦2层

  • 入库时间 2023-06-19 10:19:37

说明书

技术领域

本申请涉及计算机技术领域,具体为云计算技术,可应用于云平台,具体涉及一种集群内核版本更新方法、装置、电子设备和存储介质。

背景技术

随着技术的发展,集群中机器的数量越来越多,机器内核版本不一致成为影响集群稳定性的主要因素。目前,集群机器的内核管理与维护通常由人工实现,然而,人工方式的成本较高,且容易引入操作风险,随着集群机器数量的大规模增长,人工方式愈发无法满足集群的需求。

发明内容

本申请提供了一种集群内核版本更新方法、装置、电子设备和存储介质。

根据第一方面,本申请提供了一种集群内核版本更新方法,包括:

在监测到集群中存在目标机器的情况下,监测所述目标机器是否正在执行任务;所述目标机器为当前内核版本不为目标版本的机器,所述目标版本为与所述集群的业务特性相适配的内核版本;

若所述目标机器未执行任务,则将所述目标机器的内核版本更新为所述目标版本;

若所述目标机器正在执行任务,则在所述目标机器执行所述任务之后,将所述目标机器的内核版本更新为所述目标版本。

根据第二方面,本申请提供了一种集群内核版本更新装置,包括:

监测模块,用于在监测到集群中存在目标机器的情况下,监测所述目标机器是否正在执行任务;所述目标机器为当前内核版本不为目标版本的机器,所述目标版本为与所述集群的业务特性相适配的内核版本;

更新模块,用于:

若所述目标机器未执行任务,则将所述目标机器的内核版本更新为所述目标版本;

若所述目标机器正在执行任务,则在所述目标机器执行所述任务之后,将所述目标机器的内核版本更新为所述目标版本。

根据第三方面,本申请提供了一种电子设备,包括:

至少一个处理器;以及

与至少一个处理器通信连接的存储器;其中,

存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行第一方面中的任一项方法。

根据第四方面,本申请提供了一种存储有计算机指令的非瞬时计算机可读存储介质,计算机指令用于使计算机执行第一方面中的任一项方法。

根据本申请的技术,能够实现集群机器内核版本的在线更新,提高了集群机器内核版本的更新效率和更新效果,能够适用于集群机器大规模增长的需求,确保了大规模集群机器内核版本的一致性。

应当理解,本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征,也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案,不构成对本申请的限定。其中:

图1是根据本申请第一实施例的集群内核版本更新系统的架构图;

图2是根据本申请第一实施例的集群内核版本更新方法的流程示意图;

图3是根据本申请第一实施例的集群机器内核版本升级的流程示意图;

图4是根据本申请第二实施例的集群内核版本更新装置的结构示意图;

图5是用来实现本申请实施例的集群内核版本更新方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。

以下对本申请的示范性实施例进行说明。

为了实现本申请的集群内核版本更新方法,本申请可以预先创建集群内核版本更新系统。

如图1所示,该集群内核版本更新系统可以包括如下架构:

配置层11:用于配置集群机器的内核版本更新策略。

例如,配置层11可以根据不同的服务类型配置不同的内核版本更新策略,作为示例,将存储集群机器的服务类型按照有状态服务和无状态服务进行区分,对于无状态服务的机器(如bos)只需停止相应任务(或进程)便可直接进行内核版本的更新操作,对于有状态服务的机器(如mola、aries),需要将服务迁移之后才能进行内核版本的更新操作。

又例如,配置层11可以配置内核版本更新操作的并发度,作为示例,无状态服务的机器可批量大规模进行内核版本更新操作,有状态服务的机器需保证不丢数据的前提下进行高并发的内核版本更新操作。

状态层12:用于管理、维护、更新集群机器的配置信息和状态信息,例如机器名、内核版本、IP地址、序列号sn、机器分组、分组配置、机器配置、机器状态和策略状态等信息。

对于时效性要求较高的配置信息和状态信息,状态层12可以以单机心跳的频率进行实时更新。

调度层13:用于巡检或变更调度,调度层13可以进一步细化为巡检调度器和变更调度器,当巡检调度器监测到需要进行内核版本变更的机器时,可由变更调度器下发变更指令。

执行层14:用于根据变更调度器的变更指令,执行机器的内核版本更新操作,执行层14可包括若干个执行器,以实现多个机器并发地进行内核版本更新操作,每个执行器都可以与集群中的任一台机器15实现连接。

此外,集群内核版本更新系统还可以提供用户接口,便于用户对集群内核版本更新进行控制。

本申请涉及的集群可以是但不限于是存储集群,集群中的机器可以是服务器,集群机器的内核可以是但不限于是Linux内核。

实施时,本申请的集群内核版本更新方法可通过图1示出的集群内核版本更新系统实现。

如图2所示,集群内核版本更新方法,包括如下步骤:

步骤201:在监测到集群中存在目标机器的情况下,监测所述目标机器是否正在执行任务;所述目标机器为当前内核版本不为目标版本的机器,所述目标版本为与所述集群的业务特性相适配的内核版本。

该步骤中,可以通过集群内核版本更新系统的调度层来监测集群中是否存在需要进行内核版本更新的机器(即目标机器)。

通常,为了保证集群的稳定性,集群中各机器的内核版本应当保持一致,并且各机器的内核版本应当与集群的业务特性相适配(即目标版本)。

鉴于此,本申请实施例可以将当前内核版本不是目标版本的机器确定为目标机器,本申请实施例的目的是将目标机器的内核版本由当前内核版本变更为目标版本。

另外,为了保证操作的原子性和唯一性,线上机器通常需要遵循任务锁机制(或称任务避让机制),即,当机器在执行线上任务(或进程)时,该机器通常会被锁住,不允许其发起其他的线上操作。

鉴于此,在监测到集群中存在目标机器的情况下,本申请实施例还可以进一步监测目标机器是否正在执行线上任务,以进一步确定更新操作的执行时机。具体的,如果目标机器未执行任务,则执行步骤2021;如果目标机器正在执行任务,则执行步骤2022。

步骤2021:将所述目标机器的内核版本更新为所述目标版本。

步骤2022:在所述目标机器执行所述任务之后,将所述目标机器的内核版本更新为所述目标版本。

步骤2021或步骤2022可通过集群内核版本更新系统的执行层实现。

在目标机器的内核版本更新完成之后,目标机器可以重新加载任务(或进程)。

根据本申请实施例的技术,能够实现集群机器内核版本的在线更新,提高了集群机器内核版本的更新效率和更新效果,能够适用于集群机器大规模增长的需求,确保了大规模集群机器内核版本的一致性。

本申请中,集群机器的内核版本更新既包括由低版本变更到高版本(即内核升级),也包括由高版本变更到低版本(即内核降级),其中,内核升级通常更为常见。

作为示例,以下结合图3,对集群机器Linux内核版本升级的流程进行简单的说明。

如图3所示,集群机器内核版本升级包括以下步骤:

步骤301:确认目标机器待升级的Linux内核版本;

步骤302:将Linux内核升级文件打包;

步骤303:将打包好的升级文件上传至目标机器的内存中,升级完成后向系统控制程序发送信号,通知此次升级结果;

步骤304:系统控制程序根据通知的升级结果来对目标机器进行任务加载。

其中,步骤302可包括以下步骤:

步骤3021:输入打包参数;

步骤3022:打包升级文件;

步骤3023:判断打包升级文件的个数是否达到要求;若是,则执行步骤3024,若否,则执行步骤3022;

步骤3024:计算打包文件校验值,构建升级包头文件;

步骤3025:添加升级包头文件。

步骤303可包括以下步骤:

步骤3031:解析升级包头文件;

步骤3032:判断CRC校验是否正确;若是,则执行步骤3033,若否,则结束;

步骤3033:模块升级;

步骤3034:判断所有模块是否升级完成;若否,则继续执行步骤3033,若是,则执行步骤3035;

步骤3035:向系统控制程序发送信号,通知此次升级结果。

可选的,所述将所述目标机器的内核版本更新为所述目标版本,包括:

若所述目标机器的服务类型为无状态服务,则直接将所述目标机器的内核版本更新为所述目标版本;

若所述目标机器的服务类型为有状态服务,则将所述目标机器的服务迁移之后,将所述目标机器的内核版本更新为所述目标版本。

本申请中,无状态服务的机器可以理解为部署在前端的机器,有状态服务的机器可以理解为部署在后端的机器。作为示例,对于存储集群来说,无状态服务的机器是用于执行数据传输功能的前端机器,有状态服务的机器是用于执行数据存储功能的后端机器。

由于功能上的区别,这两种服务类型的机器对于集群稳定性的重要程度也有所区别,有状态服务的机器对于集群稳定性的重要程度要高于无状态服务的机器对于集群稳定性的重要程度。

鉴于此,为了在进行内核版本更新操作时,使集群整体保持良好的稳定性,可以根据目标机器的服务类型来执行不同的内核版本更新操作。具体的,如果目标机器的服务类型为无状态服务,可以直接对目标机器进行内核版本更新操作;如果目标机器的服务类型为有状态服务,则需要先将目标机器的服务进行迁移,以确保目标机器不丢数据的前提下,再进行内核版本更新操作。其中,目标机器的服务迁移例如可以是目标机器的副本迁移。

进一步的,对于无状态服务的机器,若监测到正在执行任务,则需要等任务执行完成之后,再进行内核版本更新操作;对于有状态服务的机器,若监测到正在执行任务,则需要等任务执行完成之后,再对机器进行服务迁移,并在服务迁移之后,再进行内核版本更新操作。

可选的,所述将所述目标机器的内核版本更新为所述目标版本,包括:

若所述目标机器的数量小于或等于所述集群的并发度,则并发地将所述目标机器的内核版本更新为所述目标版本;

若所述目标机器的数量大于所述集群的并发度,则通过N个任务将所述目标机器的内核版本更新为所述目标版本;所述N大于1,每个所述任务中的目标机器的数量小于或等于所述集群的并发度,每个所述任务中的目标机器并发更新内核版本。

集群的并发度可以是一个预设值,该预设值可以与集群机器的数量有关,集群机器的数量越多,集群的并发度越大,集群机器的数量越少,集群的并发度越小。例如,集群的并发度可以是集群机器数量的5%。

该实施方式中,在目标机器的数量较多时,通过高并发地执行内核版本更新操作,能够减少整个集群进行内核版本更新的时间,提高内核版本更新效率。

可选的,集群内核版本更新方法还包括:

在将所述目标机器的内核版本更新为所述目标版本的过程中,若监测到所述集群的业务异常,对所述目标机器的更新操作进行回滚,使所述目标机器的内核版本恢复至更新前的版本。

在对目标机器的内核版本进行更新操作的过程中,可以返回执行结果,并判断集群的线上业务是否存在异常,若是,则可以认为该异常是由内核版本更新操作而导致的,这表明内核版本更新操作对线上稳定性产生了影响。

鉴于此,该实施方式中,在将目标机器的内核版本更新为目标版本的过程中,若监测到集群的业务异常,为了消除内核版本更新操作对集群稳定性的不良影响,可以对目标机器的更新操作进行回滚,使目标机器的内核版本恢复至更新前的版本。

具体实现时,可以结合故障追查系统,对集群关键指标的监控,对异常指标的采集,来监测集群的业务是否异常。

该实施方式能够有效避免因内核版本更新操作而导致集群业务异常的情况,从而能够确保集群的稳定性。

可选的,所述在将所述目标机器的内核版本更新为所述目标版本的过程中,若监测到所述集群的业务异常,对所述目标机器的更新操作进行回滚,使所述目标机器的内核版本恢复至更新前的版本,包括:

在将多个所述目标机器的内核版本并发更新为所述目标版本的过程中,若监测到所述集群的业务异常,从多个所述目标机器中确定第一机器,所述第一机器的更新操作导致所述集群的业务异常;

对所述第一机器的更新操作进行回滚,使所述第一机器的内核版本恢复至更新前的版本。

该实施方式中,在考虑到多个目标机器并发进行内核版本更新操作的过程中,如果目标机器中的某一个机器或某些机器的更新操作导致集群业务异常,为了使其他机器的更新操作仍然可以继续进行,可以采用单策略的熔断和隔离机制,即单策略的执行失败不会影响其他策略的执行。也就是说,可以只对第一机器的更新操作进行回滚,而其他目标机器的更新操作可以继续进行。

该实施方式中,通过在并发更新操作中采用单策略的熔断和隔离机制,有利于提高集群内核版本整体的一致性,从而有利于提高集群整体的稳定性。

需要说明的是,本申请中的集群内核版本更新方法中的多种可选的实施方式,彼此可以相互结合实现,也可以单独实现,对此本申请不作限定。

本申请的上述实施例至少具有如下优点或有益效果:

本申请实施例中,能够实现集群机器内核版本的在线更新,提高了集群机器内核版本的更新效率和更新效果,能够适用于集群机器大规模增长的需求,确保了大规模集群机器内核版本的一致性。

如图4所示,本申请提供一种集群内核版本更新装置400,包括:

监测模块401,用于在监测到集群中存在目标机器的情况下,监测所述目标机器是否正在执行任务;所述目标机器为当前内核版本不为目标版本的机器,所述目标版本为与所述集群的业务特性相适配的内核版本;

更新模块402,用于:

若所述目标机器未执行任务,则将所述目标机器的内核版本更新为所述目标版本;

若所述目标机器正在执行任务,则在所述目标机器执行所述任务之后,将所述目标机器的内核版本更新为所述目标版本。

可选的,更新模块402具体用于:

若所述目标机器的服务类型为无状态服务,则直接将所述目标机器的内核版本更新为所述目标版本;

若所述目标机器的服务类型为有状态服务,则将所述目标机器的服务迁移之后,将所述目标机器的内核版本更新为所述目标版本。

可选的,更新模块402具体用于:

若所述目标机器的数量小于或等于所述集群的并发度,则并发地将所述目标机器的内核版本更新为所述目标版本;

若所述目标机器的数量大于所述集群的并发度,则通过N个任务将所述目标机器的内核版本更新为所述目标版本;所述N大于1,每个所述任务中的目标机器的数量小于或等于所述集群的并发度,每个所述任务中的目标机器并发更新内核版本。

可选的,集群内核版本更新装置400还包括:

回滚模块,用于在将所述目标机器的内核版本更新为所述目标版本的过程中,若监测到所述集群的业务异常,对所述目标机器的更新操作进行回滚,使所述目标机器的内核版本恢复至更新前的版本。

可选的,所述回滚模块包括:

确定单元,用于在将多个所述目标机器的内核版本并发更新为所述目标版本的过程中,若监测到所述集群的业务异常,从多个所述目标机器中确定第一机器,所述第一机器的更新操作导致所述集群的业务异常;

回滚单元,用于对所述第一机器的更新操作进行回滚,使所述第一机器的内核版本恢复至更新前的版本。

本申请提供的集群内核版本更新装置400能够实现上述集群内核版本更新方法实施例中的各个过程,且能够达到相同的有益效果,为避免重复,这里不再赘述。

本申请可应用于云计算(cloud computing),云计算指的是通过网络接入弹性可扩展的共享物理或虚拟资源池,资源可以包括服务器、操作系统、网络、软件、应用和存储设备等,并可以以按需、自服务的方式对资源进行部署和管理的技术体系。通过云计算技术,可以为人工智能、区块链等技术应用、模型训练提供高效强大的数据处理能力。

根据本申请的实施例,本申请还提供了一种电子设备和一种可读存储介质。

如图5所示,是根据本申请实施例的集群内核版本更新方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图5所示,该电子设备包括:一个或多个处理器501、存储器502,以及用于连接各部件的接口,包括高速接口和低速接口。各个部件利用不同的总线互相连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个电子设备,各个设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图5中以一个处理器501为例。

存储器502即为本申请所提供的非瞬时计算机可读存储介质。其中,存储器存储有可由至少一个处理器执行的指令,以使至少一个处理器执行本申请所提供的集群内核版本更新方法。本申请的非瞬时计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行本申请所提供的集群内核版本更新方法。

存储器502作为一种非瞬时计算机可读存储介质,可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块,如本申请实施例中的集群内核版本更新方法对应的程序指令/模块(例如,附图4所示的监测模块401和更新模块402)。处理器501通过运行存储在存储器502中的非瞬时软件程序、指令以及模块,从而执行集群内核版本更新装置的各种功能应用以及数据处理,即实现上述方法实施例中的集群内核版本更新方法。

存储器502可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据集群内核版本更新方法的电子设备的使用所创建的数据等。此外,存储器502可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中,存储器502可选包括相对于处理器501远程设置的存储器,这些远程存储器可以通过网络连接至集群内核版本更新方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

集群内核版本更新方法的电子设备还可以包括:输入装置503和输出装置504。处理器501、存储器502、输入装置503和输出装置504可以通过总线或者其他方式连接,图5中以通过总线连接为例。

输入装置503可接收输入的数字或字符信息,以及产生与集群内核版本更新方法的电子设备的用户设置以及功能控制有关的键信号输入,例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置504可以包括显示设备、辅助照明装置(例如,LED)和触觉反馈装置(例如,振动电机)等。该显示设备可以包括但不限于,液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中,显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令,并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的,术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如,磁盘、光盘、存储器、可编程逻辑装置(PLD)),包括,接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)、互联网和区块链网络。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决传统物理主机与虚拟专用服务器(VPS,Virtual Private Server)服务中存在的管理难度大,业务扩展性弱的缺陷。

根据本申请实施例的技术方案,能够实现集群机器内核版本的在线更新,提高了集群机器内核版本的更新效率和更新效果,能够适用于集群机器大规模增长的需求,确保了大规模集群机器内核版本的一致性。

应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发申请中记载的各步骤可以并发地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本申请公开的技术方案所期望的结果,本文在此不进行限制。

上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号