申请/专利权人：武汉大学

申请日：2021-06-30

公开（公告）日：2024-04-19

公开（公告）号：CN114139730B

主分类号：G06N20/00

分类号：G06N20/00;G06F9/50;G06Q30/0283

优先权：

专利状态码：有效-授权

法律状态：2024.04.19#授权;2022.03.22#实质审查的生效;2022.03.04#公开

摘要：本发明公开了一种面向边缘云网络中机器学习任务的动态定价和部署方法，该方法能够对计算节点和参数服务器节点动态定价，并且在未知未来任务信息的情况下决定是否接收在线到达的机器学习任务，并对接收的任务进行部署放置，以社会福利最大化为目的。边缘云市场资源提供商根据本发明可以随着时间的推移实时在线地对资源进行动态定价，进而对在线到达的机器学习任务有选择性的接收，近似实现社会福利最大化。本发明结合了线性规划建模，紧致指数优化理论，对偶理论和贪心算法等，通过理论分析证明了我们的算法实现了在线的可信拍卖，同时算法能在多项式时间内给出结果，此外还证明了放置算法的最优性。

主权项：1.一种面向边缘云网络中机器学习任务的动态定价和部署方法，其特征在于，包括：一个服务商提供给用户W种类型的计算节点和P种类型的参数服务器节点，这些节点位于S个不同位置的服务器上；其中，第s个服务器上第w类的计算节点资源量为Csw，第s个服务器上第p类的参数服务器节点资源量为Csp；有J个机器学习任务在总长为T的时间段到来，用户j提交其任务的信息给服务商：其中rj是任务到达的时间，fj·是非负的效益函数，其数值随着任务持续时间增加而增加，该函数的取值含义是用户根据任务完成时间对任务定义的价值；Bj中剩余的部分描述任务j的信息，每个机器学习任务都包含一个输入数据集，将数据集分为相同大小的数据块，Dj则是数据块的数量，每个数据块被进一步划分为Mj个相同大小的mini-batch；由于深度学习任务的学习中止条件不确定，每个任务会指定一个最大的训练轮次Ej，如果任务j被接收，所有数据块将调度到分配的Worker对应的物理服务器s上，其传输延迟为而表示使用第w种Worker、第p种PS训练任务j一个mini-batch所需要的时间；每个用户到达时，提交任务信息给云服务商，云服务商对不同服务器上的资源进行动态定价，即将第s个服务器上第w类的计算节点的单价定为αsw，将第s个服务器上第p类的的参数服务器节点单价定为βsp；然后模拟计算任务的最优部署方案，如果该方案对应的收益大于0，则接收该任务，并部署该任务，否则拒绝该任务；具体包括如下步骤：步骤1，用整数规划对上述问题进行建模；步骤1中建模如下， subjectto: 其中，xj表示决策变量，是否接收任务j，aj表示任务j开始执行的时隙，表示任务j结束执行的时隙，Csw表示服务器s上第w种计算节点的数量，Csp表示服务器s上第p种参数服务器的数量，bw表示计算节点w的带宽大小，bp表示计算参数服务器节点p的带宽大小，ojw表示任务j是否选择计算节点w，ojp表示参数任务j是否选择计算服务器节点p；yjswt表示任务j在服务器s上于时隙t使用的计算节点w数量；zjspt表示任务j在服务器s上于时隙t使用的参数服务器节点p数量；ψj表示是否任务j的所有计算节点和参数服务器节点都在一个服务器上；pj表示用户应为任务j支付的酬劳，[S]\s表示从集合S中除去元素s得到的集合；建模的目的是，对资源进行定价，然后在满足资源约束的条件下，决定是否接收用户任务，并为接受的任务设计部署方案，以最大化社会福利；约束条件1a假设一个任务只能使用一种类型的计算节点和参数服务器节点，只有在计算节点类型确定后才能给任务分配该类型的计算节点，因此只有ojw＝1时才能分配第w种计算节点；此外，任务的每一个数据块至多只能被一个计算节点训练，因此同一时隙内分配的计算节点数量不能超过Dj，于是得到约束约束条件1b；约束条件1c规定计算节点禁止抢占，分配给每个任务的计算节点在任务完成后才会释放；类似于约束条件1b和1c，得到关于参数服务器节点的两个约束1d和1e；考虑到Worker训练数据离不开PS，必须保证Worker运行时至少有一个PS，由此得到约束1f；约束1g保证有足够多的计算节点和时间来训练任务；约束1h确定使用集中化放置还是分布式放置；约束1i和1j保证使用的计算节点、参数服务器节点输了不超过服务器拥有的数量；约束1k保证参数服务器节点有足够的带宽用于传递参数，对于放置参数服务器节点的服务器s，对服务器集合S中所有其他服务器上的计算节点需要的带宽进行求和，保证求和得到的值小于服务器s上参数服务器节点拥有的带宽；约束1l保证任务到达之前不分配资源以及完成之后立刻释放资源；1m和1n分别表示任务的开始训练时间和结束训练时间；约束1o和1p规定上述变量的范围；步骤2，考虑步骤1中的整数规划问题，使用紧致指数优化理论对其进行重构；步骤2的具体实现方式如下；对于任意一个任务j，其调度由xj,ojw,ojp,yjswt,zjspt决策变量决定，令Lj为任务j所有满足约束条件1a-1h，1k-1p的调度方案的集合；然后将xj修改为其含义是任务j是否被接收并且采用调度方案l，表示采用，表示不采用；类似的，也修改变量yjswt,zjspt为其含义分别是采用调度方案l时分配给任务j的计算节点、参数服务器节点数量；最后定义为在调度方案l下任务j的完成时间，于是得到问题1的重构问题2如下： subjectto: 问题2是一个整数线性规划问题ILP，其中约束2a、2b分别对应于约束1i、1j；约束2c、2d则覆盖了剩余的约束条件，通过解决问题2来处理问题1；步骤3，对步骤2中得到的重构问题，考虑其对偶问题，基于对偶问题，提出任务接收控制的基本原则；步骤3的具体实现方式如下；将MINLP问题1转化为了ILP问题2，但是代价是引入了指数级数量的变量为了处理如此之多的变量，考虑2的对偶问题，将放宽为然后对于约束2a,2b和2c分别引入对偶变量αswt,βspt,μj，得到对偶问题3： subjectto: 对于问题3，将对偶变量αswt,βspt理解为计算节点w，参数服务器节点p在服务器s上单位时间的单位价格，于是通过以下公式计算任务j在采用调度方案l时的总花费： 再考虑约束3a，该约束右边部分实际上就是任务的效益减去总花费，根据对偶问题的互补松驰性原则，同时考虑3b，得到： 其中RHS表示公式等号或者不等号的右侧，令于是μj可以理解成用户在任务j采用最优调度方案l*时的收益；基于4，提出任务接收控制的基本原则：对于任务j，只有当采用最优调度方案l*得到的μj大于0时，服务商才会接受任务j，μj大于0就说明任务带来的效益能大于执行任务产生的花销；步骤4，提出对计算节点和参数服务器节点进行动态定价的定价函数，根据历史信息和系统状况对资源进行定价；步骤5，当任务到达时，服务商计算其最优调度方案，根据任务接收控制的基本原则，决定是否接收该任务，对于接收的任务，转到步骤6；步骤6，部署机器学习任务，同时更新当前可用资源状况；步骤7，每当有任务完成时，更新步骤4中定价函数的相关参数，并重新对计算节点和参数服务器节点进行定价。

全文数据：

权利要求：

百度查询： 武汉大学 一种面向边缘云网络中机器学习任务的动态定价和部署方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD