申请/专利权人:北京工商大学
申请日:2024-02-01
公开(公告)日:2024-05-17
公开(公告)号:CN118052263A
主分类号:G06N3/08
分类号:G06N3/08;G06N3/0455
优先权:
专利状态码:在审-实质审查的生效
法律状态:2024.06.04#实质审查的生效;2024.05.17#公开
摘要:本发明公开了一种解决变分自动编码器后验坍缩问题的方法。该方法将潜在变量后验概率分布的均值乘以一个尺度放大因子,从而保证均值每一维的方差不过度趋近于零;从经尺度放大后的后验概率分布中采样输入到解码器中,但仍使用原有后验概率分布计算损失函数中的KL项;所有数据实例使用相同的尺度放大因子。本发明所述方法增加了不同数据实例潜在变量的区分度,使模型更容易挖掘潜在变量中的信息,也缓解了损失函数中重构项与KL项的矛盾,保证潜在变量中能包含更多输入数据的信息,并且不会带来潜在向量空间的混乱,从而更好地解决了变分自动编码器的后验坍缩问题。
主权项:1.一种解决变分自动编码器中后验坍缩问题的方法,其特征在于,利用损失函数对变分自动编码器模型进行训练,所述损失函数为: 其中,L表示损失函数,pX表示真实数据X的概率,x为来自数据X的一个数据实例,pz表示潜在变量z的先验概率分布,使用标准高斯分布N0,I,pθx|z表示由解码器学习的x的似然分布,表示由编码器学习的x对应的潜在变量z的后验概率分布,表示经过尺度放大后的后验概率分布,表示编码器的参数,θ表示解码器的参数,E.[·]表示期望,DKL[·||·]表示KL散度,为重构项,为KL项。
全文数据:
权利要求:
百度查询: 北京工商大学 一种解决变分自动编码器后验坍缩问题的方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。