首页|必读|视频|专访|运营|制造|监管|大数据|物联网|量子|元宇宙|博客|特约记者
手机|互联网|IT|5G|光通信|人工智能|云计算|芯片报告|智慧城市|移动互联网|会展
首页 >> 技术 >> 正文

揭秘线稿自动上色,喵图科技突破GPU模型压缩技术

2018年5月24日 09:53  CCTIME飞象网  

人工智能进军动漫产业,可以助力整个行业,让动漫日更、优化动漫视效?

来自喵图科技的算法研发团队给出了深度学习在动漫领域的研究进展,开发了一套在压缩GPU显存的情况下,通过人工智能给漫画线稿优化线条、自动上色的技术。

训练机器自动上色,生成效果“以假乱真”!

研究团队使用生成对抗网络(GAN)完成上色任务,达到与人工作画相近的效果。GAN 使用了两个以博弈论的方式协同工作的网络,以相互竞赛的方式来训练彼此。构成 GAN 的两个网络分别是鉴别器和生成器,神经网络自行从输入图片中学习到上色的方法,由生成器创建伪造的样本,同时鉴别器接收[input, training data]和[input, fake output]对来鉴别哪些样本是真实的,哪些样本是伪造的。网络G的目标就是尽量生成真实的图片去欺骗判别网络D,随着其中一个网络变得更强大,另一个网络也必须适应和提升。最后博弈的结果是什么?在最理想的状态下,G可以生成足以“以假乱真”的图片。基于GAN 的生成器,研发团队还针对不同的业务场景设计了解耦模型,通过校正输出、输入图片之间的关系,减弱甚至消除这种相互关联,将不同场景区别开来。如此训练后得到的模型,能够找到最接近输入图片画面风格的参数,实现自动上色。

​喵图科技自动上色多种渲染,一键完成只需0.5秒

攻克技术难题,GPU模型压缩技术很优秀

传统的自动上色算法对GPU的资源消耗极大,很难做到大规模的对应上色处理请求。举个例子来讲,具有50个卷积层的ResNet-50需要超过95MB的存储器以及38亿次浮点运算。喵图科技研发团队基于通道减枝,试图去除冗余和不重要的项来降低存储和计算复杂度,训练一个更紧凑的神经网络来重现一个更大的网络的输出。此外,他们还将神经网络二值化,让计算主要在正1或负1间进行,几十倍地降低了网络大小和计算量,保证预测准确率。经过他们的努力,AI自动上色仍能照常工作,但GPU 显存占用降低至原模型的5%,速度提升为10倍。

此项研究的成功,代表着自动上色技术不仅可以用于娱乐面向用户,也可以形成低成本工业规模服务于整个动漫行业,可以为动漫行业提供“工业级”画面输出,大大压缩动漫制作的生产时间,节约生产成本。在未来,动漫制作组只需要几个人为作品制作剧情方向、绘制部分分镜,剩下的可以都交给AI自动上色来搞定。

编 辑:初夏
声明:刊载本文目的在于传播更多行业信息,本站只提供参考并不构成任何投资及应用建议。如网站内容涉及作品版权和其它问题,请在30日内与本网联系,我们将在第一时间删除内容。本站联系电话为86-010-87765777,邮件后缀为#cctime.com,冒充本站员工以任何其他联系方式,进行的“内容核实”、“商务联系”等行为,均不能代表本站。本站拥有对此声明的最终解释权。
相关新闻              
 
人物
工信部张云明:大部分国家新划分了中频段6G频谱资源
精彩专题
专题丨“汛”速出动 共筑信息保障堤坝
2023MWC上海世界移动通信大会
中国5G商用四周年
2023年中国国际信息通信展览会
CCTIME推荐
关于我们 | 广告报价 | 联系我们 | 隐私声明 | 本站地图
CCTIME飞象网 CopyRight © 2007-2024 By CCTIME.COM
京ICP备08004280号-1  电信与信息服务业务经营许可证080234号 京公网安备110105000771号
公司名称: 北京飞象互动文化传媒有限公司
未经书面许可,禁止转载、摘编、复制、镜像