新壹科技近期在2024世界人工智能大会(WAIC 2024)上发布了其最新技术成果——新壹AI视频大模型2.0,这一版本进一步巩固了公司在视频AI领域的领先地位,并为视频人工智能在处理、分析、应用层面带来了更多可能性。
新壹视频大模型2.0的核心亮点在于其多模态AIGC模型的显著提升,包括多模态感知能力的强化、实时学习与自迭代功能的升级、多场景交叉推理能力的拓展,以及AI全流程视频生产能力的提升。这一技术集成了先进的AI算法和深度学习技术,能够实现从剧本构思到视频成片的全流程自动化创作,大大降低了视频创作的门槛和成本。
新壹视频大模型2.0具备一键触发的便捷性,用户只需输入创意,即可自动生成剧本、分镜图、角色对话和背景音乐。其自研剧本模型、基于Diffusion Transformer技术的混合专家架构、情感化语音合成技术,以及自动背景音乐生成能力,都是技术的创新之处。特别值得一提的是,其基于Diffusion Transformer技术的Mixed-of-Experts混合专家架构,能够生成高密度的分镜信息,将剧本内容转化为具体的分镜图,包括每个场景的布局、角色位置、镜头角度等。
新壹视频大模型2.0还利用情感化语音合成技术为角色赋予自然的语调和情感表达,使对话更真实。同时,根据视频内容自动生成背景音乐(BGM),实现画面与音乐的完美融合。
在3D元素和场景生成方面,新壹视频大模型2.0表现出色,能够生成从自然景观到未来都市,从静态物体到动态角色的多样化内容,并提供实时的3D场景交互能力。此外,新壹视频大模型2.0在3D与视频的混合创作方面也有显著进步,有效解决了传统AI视频生成中的人物形象一致性和动作连贯性等问题。
新壹AI视频大模型2.0支持1080P 60帧输出,最高可支持4K,确保了流畅的观看体验。这一版本的发布,不仅标志着新壹科技在AI视频创作领域的技术飞跃,也展示了其对创作自由度的深度拓展。
目前,新壹科技已在其产品和服务中应用了这一技术,包括AI原生应用平台“一帧秒创”和AI数字人平台“新壹数字人”等,覆盖了文旅、金融保险、媒体、营销等多个领域。
新壹AI视频大模型2.0官网:【点击登录使用AI视频创作工具】
更多AI视频工具请关注:【国内外AI视频热门工具汇总榜单–AITOP100平台推荐】