申请/专利权人:杭州当虹科技股份有限公司
申请日:2023-12-19
公开(公告)日:2024-04-12
公开(公告)号:CN117875427A
主分类号:G06N5/04
分类号:G06N5/04;G06F9/50;G06F9/54
优先权:
专利状态码:在审-实质审查的生效
法律状态:2024.04.30#实质审查的生效;2024.04.12#公开
摘要:本发明公开了一种计算机视觉算法推理通用系统,包括客户端、服务端、算法模型转化工具、算法模型性能优化工具和算法模型库,所述客户端包括API接口、第一通信模块、算法命令请求模块和算法推理请求模块;所述服务端包括第二通信模块、状态监控模块、算法模型管理模块、算法命令执行模块、算法推理执行模块、算法推理引擎通用接口模块和算法推理引擎实现模块;所述API接口定义算法初始化接口、算法反初始化接口和算法推理接口;所述第一通信模块和第二通信模块用于实现客户端进程和服务端进程之间通信,建立算法命令通道和算法推理通道;所述算法命令请求模块用于客户端算法命令封装和响应结果解析,算法命令包括算法初始化和算法反初始化。
主权项:1.一种计算机视觉算法推理通用系统,其特征在于,包括客户端、服务端、算法模型转化工具、算法模型性能优化工具和算法模型库,所述客户端包括API接口、第一通信模块、算法命令请求模块和算法推理请求模块;所述服务端包括第二通信模块、状态监控模块、算法模型管理模块、算法命令执行模块、算法推理执行模块、算法推理引擎通用接口模块和算法推理引擎实现模块;所述API接口定义算法初始化接口、算法反初始化接口和算法推理接口;所述第一通信模块和第二通信模块用于实现客户端进程和服务端进程之间通信,建立算法命令通道和算法推理通道;所述算法命令请求模块用于客户端算法命令封装和响应结果解析,算法命令包括算法初始化和算法反初始化;所述算法推理请求模块用于客户端算法推理任务封装,算法推理任务结果解析;所述状态监控模块用于监控服务端状态及异常状态处理机制;所述算法模型管理模块用于算法模型库管理;所述算法命令执行模块用于服务端算法命令解析,执行算法命令,算法命令结果封装,算法命令包括算法初始化和算法反初始化;所述算法推理执行模块用于算法推理任务解析,算法推理任务调度,执行算法推理任务和算法推理任务结果封装;所述算法推理引擎通用接口模块用于定义输入数据接口、输出数据接口、算法初始化接口、算法反初始化接口、算法推理接口;输入数据接口用于实现将输入数据从系统数据格式转换为芯片数据格式,并将数据输入到芯片;所述输出数据接口用于实现获取芯片输出数据,并将输出数据从芯片数据格式转为系统数据格式;所述算法初始化接口用于实现初始化算法上下文,申请软硬件资源;所述算法反初始化接口,用于实现反初始化算法上下文,释放资源;所述算法推理接口用于实现算法推理计算;所述算法推理引擎实现模块,用于基于通用接口定义,使用人工智能芯片API进行二次开发封装;所述算法模型转换工具用于使用人工智能芯片API进行二次开发封装,将已训练好的计算机视觉算法模型从原始格式转为人工智能芯片支持格式;所述算法模型性能优化工具用于使用人工智能芯片API进行二次开发封装,基于性能需求,对转换后的模型进行性能优化;所述算法模型库用于存放优化后的算法模型。
全文数据:
权利要求:
百度查询: 杭州当虹科技股份有限公司 计算机视觉算法推理通用系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。