SkyReels-V1开源AI短剧模型:33表情400动作好莱坞级创作利器
当下大模型领域备受瞩目的无疑是DeepSeek,但作为纯语言模型,多模态大模型赛道同样战火纷飞。智东西2月18日最新报道,昆仑万维近日开源了中国首个面向AI短剧创作的视频生成模型SkyReels-V1,以及中国首个SOTA级别基于视频基座模型的表情动作可控算法SkyReels-A1。这一举措标志着视频生成模型的竞争已迈入全新维度。
SkyReels-V1基于混元大模型训练,属于Human-Centric Video Foundation Model(以人为中心的视频基础模型),支持文生视频、图生视频,性能可与快手可灵、MiniMax海螺AI等闭源模型相媲美。微表情还原、专业运镜、好莱坞级画面构图等特效均可一键完成。目前,这两大模型的能力已集成在昆仑万维的AI短剧平台SkyReels上,平台主页下方已展示众多复杂任务的生成实例,用户在几分钟内即可创作出好莱坞大片级别的视频。
AI短剧正成为当下视频生成领域最火爆的应用,SkyReels平台实现了从剧本生成、分镜、BGM到人物对白的全流程覆盖,让”一个人拍爽剧”成为现实,大幅降低了短剧创作门槛,加速了视频生成模型的应用与普及。那么SkyReels-V1的实际表现如何?普通人是否真能成为短剧创作者?带着这些问题,智东西抢先体验了昆仑万维全新升级的AI短剧生成平台SkyReels。
开源地址:https://github.com/SkyworkAI/SkyReels-V1https://github.com/SkyworkAI/SkyReels-A1技术报告地址:https://skyworkai.github.io/skyreels-a1.github.io/report.pdf
01 一键拍短剧!怼脸镜头表情不崩运镜、构图是好莱坞级别
春节档爆火的《哪吒之魔童降世》票房突破百亿,不少用户围绕哪吒2主演开启了视频生成二创。SkyReels的图生视频效果同样惊艳。上传哪吒乘坐”飞天猪”变成车的静态图片后,输入提示词,哪吒开车时头发随风飘扬的细节被完整呈现,飞天猪脚底的”风火轮”也出现了火的元素,人物与背景协调统一。
回顾视频生成模型早期,用户常面临生成速度慢、效果与提示词不符、人物表情生硬等问题。如今随着技术发展,昆仑万维SkyReels、快手可灵、MiniMax海螺AI等产品迭代升级,视频生成模型的可用性大幅提升。
首先,人物微表情处理是关键挑战。微表情持续时间短、变化幅度小,但对传递人物情感至关重要。SkyReels生成的医院场景视频中,男女主对话时表情变化自然,怼脸镜头下女主表情崩塌问题得到解决,抿嘴时下巴轻微颤动等细节被精准捕捉。男主说话时脸上和脖子上的皱纹、皮肤变化也如实还原。
其次,镜头语言增强画面故事感。通过不同机位刻画重点,如大全景呈现事件地点,移动镜头体现画面主体变化。某段视频中,从教堂场景引入男主环境,通过场景转移和人物变化交代身份,女主出现时同样通过环境与人物特写推动情节发展。男女主对话过程中,镜头会跟随说话主体给主角特写。
第三,人物站位、构图及画面主体切换等,在真人拍摄中需要演员、导演协同配合,搭建场景或借助天气。AI现已实现随时随地创作。某视频中镜头转化丝滑,回忆镜头穿插家人合影、躺着的小女孩、奔跑的伤员等,丰富故事细节,镜头缓慢移动后出现主角,特效切换至复仇场景。AI基于文字理解生成完整短剧作品,人物表情、镜头切换、画面构图效果显著提升。
02 视频生成模型关键突破:生成精准、速度更快、结果可控
SkyReels平台升级的核心是昆仑万维最新发布的SkyReels-V1视频大模型。视频生成赛道已从简单的PPT式画面进化为流畅、有镜头变化的视频,AI短剧更关注人物微表情的精准呈现。如何精进生成效果让用户拿来即用,成为视频生成模型面临的核心难题。
生成视频、短剧时,最关键的要求是生成精准、可控性高且推理、生成速度快。SkyReels-V1的核心技术优势在于:
首先在生成精准方面,需精准呈现人物微表情,把握画面构图、光影变化等要素。SkyReels-V1支持33种细腻人物表情与400多种自然动作组合,高度还原人物表情。其训练数据来自好莱坞级影视作品,画面构图、演员站位、相机角度均具电影级质感。某视频中哭泣女生从眼眶微红到嘴角颤动等表情变化,充分展现悲伤情绪。
人物表情、动作、画面构图、镜头语言的逼真表达背后,是昆仑万维自研的人物智能解析系统,包含影视化表情识别体系、人物空间位置感知、行为意图理解、表演场景理解。该系统使模型实现11种人物表情理解,准确表达不屑、不耐烦等情绪,基于人体三维重建技术实现影视级人物站位与行为理解,同时关联分析人物-服装-场景-剧情,确保视频效果完整连贯。
某4秒视频包含诸多关键元素:背影人物说话时身体微微颤动,正面人物眼神变化、微微蹙眉传达感受,男主肩头光影变化形成人物与环境交集。生成精准还体现在可控的人物视频生成,准确提取Driving Video中的表情、动作特征,完整复刻口型、五官变化甚至头部轻微摆动。即使脸部角度不同,生成的视频也能准确呈现表情变化。与Runway相比,SkyReels-A1生成的视频表情更丰富,讲话过程中眉毛眼睛变化外还呈现额头皱纹,人物效果更逼真。
其次在速度方面,视频生成速度影响用户体验。基于昆仑万维自研推理优化框架SkyReels-Infer,SkyReels-V1实现544p分辨率推理,单台4090只需80秒,支持分布式多卡并行。在同等RTX 4090规模下,端到端延迟优于HunYuan Video 58.3%。为降低用户硬件性能影响,昆仑万维采用FP8量化、参数级卸载等策略,支持Flash Attention等进一步优化延迟。
同时开源SOTA级别的基于视频基座模型的表情动作可控算法SkyReels-A1,对标Runway的Act-One,实现电影级表情捕捉。某视频中女生头部大幅度摆动,但脸上惊恐表情始终被准确呈现。基于昆仑万维自研核心技术,用户可在个人电脑上轻松实现高性价比、生成可控的AI短剧创作。
反观昆仑万维,自研技术进阶与综合产品布局正驱动其成为视频生成模型应用领域的领跑者。
03 大模型技术创新、应用落地两开花坚持开源策略
短剧爆火浪潮已席卷视频生成平台,用户开始探索自制短视频。去年8月发布的AI短剧产品SkyReels是视频生成工具的集大成者,包圆了从剧本创作到短剧成品的各个环节。平台集成了自研剧本大模型SkyScript、分镜大模型StoryboardGen、3D生成大模型Sky3DGen,以及业界首个将AI 3D引擎与视频大模型深度融合的创新平台WorldEngine。
SkyReels通过AI一键生成完整剧本、分镜、人物对白与BGM,支持角色形象、音色与分镜的自定义调整,可自动将内容转换为1080P 60帧高清视频,单次可生成长达180秒的视频。用户可将短剧灵感、脚本或小说上传,平台自动分析生成相应脚本及主要人物,不满意可重新调整声音和角色形象。最后合成不同镜头脚本,形成完整短剧,过程中用户可随时修改。
短视频平台中的短剧以高密集爽点为核心,融合复仇、重生等类型。昆仑万维构建了亿级高质量短剧结构化数据集SkyScript-100M,针对海量精彩短剧的剧情节奏、爽点、情绪变化进行高质量标注。SkyReels是视频生成模型大规模应用的一大创新方向,既降低了短剧制作门槛,激发用户创作兴趣,也是大模型能力落地应用的有效路径。
这些成果不仅是昆仑万维技术实力的证明,更体现了其在AIGC时代成为重要风向标。2023年4月,昆仑万维提出”All in AGI和AIGC”战略,构建完整AI生态系统,逐步形成AI大模型、AI搜索、AI音乐、AI社交、AI游戏、AI短剧六大业务矩阵。从国内首款AI搜索产品”天工AI搜索”到国内首款AI音乐生成产品”天工SkyMusic”,昆仑万维在国内多次首发AI细分应用创意新品。
事实上,昆仑万维在AIGC和大模型领域的布局可追溯至2020年,研发投入一直处于领先水平。2024年第三季度财报显示,其前三季度研发费用达11.44亿元,同比增长84.47%。目前已完成”算力基础设施—大模型算法—AI应用”全产业链布局,在战略布局、技术积累、市场洞察的综合作用下,昆仑万维在大模型产业上的优势逐渐增大。
更为重要的是,当下DeepSeek爆火引发业界对开闭源模型的思考,诸多企业由闭源转向开源。昆仑万维始终重视开源生态,早在2022年就开源了昆仑天工AIGC全系列算法与模型,此后又开源了开源2000亿稀疏大模型Skywork-MoE、4000亿参数MoE超级模型、数字智能体全流程研发工具包AgentStudio等。这一以贯之的开源策略,正在加速助推大模型生态的健康快速发展。
04 结语:昆仑万维用全栈AI布局为AGI时代装上加速引擎
昆仑万维坚持”All in AGI与AIGC”战略布局的同时,已取得丰硕的行业应用成果。在其开源策略布局下,这些成果正加速国内大模型产业发展。昆仑万维坚持自研核心技术突破,如今亮相实力强劲的开源视频生成模型,在视频生成的诸多关键领域实现飞跃。
同时,昆仑万维在大模型应用方面的尝试也为大模型杀手级应用指明了路径。以往短剧创作需要专业团队协作和较高资金投入,而SkyReels-V1、SkyReels-A1的出现正在打破这一流程,满足多样化、个性化创作需求。随着SkyReels这类产品的出现及性能提升,AI短剧创作生态将逐渐成熟,优化模型性能、提升短剧质量,推动整个行业的技术创新和内容创新。
在大模型应用探索之路上,昆仑万维已走在行业前列。随着视频生成模型在流畅性、真实性、分辨率等方面的进一步提升,以及动作准确性、场景逻辑性等问题的逐步改善,视频生成的应用将大有可为。尤其在当下热度颇高的短剧领域,SkyReels等产品能帮助用户快速将创意转化为短剧作品,使创作更加自由化、大众化,推动短剧内容生态建设,重塑AI短剧行业。
首个AI短剧创作模型的发布已让我们看到大模型技术的巨大潜力和无限可能。再加上开源模型SkyReels-V1、SkyReels-A1被广泛应用于各行各业,即使没有强大研发团队和大量资金支持的个人或小型团队也能获取先进视频生成技术,从而推动通用人工智能时代的加速到来。