基于通义万相开发, 美图多款 APP 上线动漫特效、变身等视频生成功能

潮新闻客户端记者张云山

美图公司旗下美图秀秀、RoboNeo、Wink和开拍等多款产品已基于通义万相系列模型进行深度开发与训练,推出全新动漫特效、AI变身等视频生成功能,为美图的全球用户提供全新的创作体验。

美图推出多款应用(受访者供图)

作为影像与设计产品的领军企业,美图公司近几年正在加速布局生产力场景,不仅推出了面向企业的AI算法服务和解决方案,旗下消费级产品也在快速集成大模型。早在去年6月美图就已和阿里展开大模型合作,目前基于开源的通义万相首尾帧生视频、图生视频和文生视频等模型,美图结合自身在影像领域积累的经验已训练多个垂直领域模型,并在美图秀秀、RoboNeo和Wink等多款产品上线。

据介绍,基于通义万相首尾帧生视频模型以及美图“AI换装”能力,美图秀秀与Wink推出了“打歌舞台”、“相扑小子”、“复古美漫”等功能风格,在稳定性和一致性上均表现优秀。例如使用打歌舞台功能,用户仅需上传一张人物照片,就能生成一段身穿舞台服装的人物形象在演唱会场景下舞动的视频。

基于通义万相图生视频模型,美图训练了垂直领域模型,目前已在美图旗下AI口播工具开拍“创意片头”功能上线,用户无需复杂提示词,就能一键生成创意片头,帮助视频创作者快速实现短视频开头的“黄金3秒”创意,让非专业用户也能一键做出有网感的开场效果。

此外,基于通义万相全能编辑模型VACE,美图旗下视频编辑工具Wink和影像智能体RoboNeo上线了视频转绘风格功能,可将视频一键转换成多种动漫风格;RoboNeo还深度集成了通义万相的文生视频能力,用户只需输入一句话,就可以快速生成一段连贯且动态化的短视频,大幅降低视频创作的门槛。

自今年2月以来,通义万相已连续开源文生视频、图生视频、首尾帧生视频、全能编辑、音频生视频等多款模型,在开源社区和三方平台的下载量已超3000万,是开源社区最受欢迎的视频生成模型之一。目前,通义万相系列模型已广泛应用于影像、设计、影视等行业。