2月16日凌晨,美国人工智能公司OpenAI在其官网发布了文生视频模型Sora,首次由AI生成了长达1分钟的多镜头长视频,镜头感堪比电影,引发关注。2月17日,据《纽约时报》和彭博社等媒体报道,OpenAI已完成一项允许员工出售公司股份的最新交易,使得这家AI公司的估值达到了860亿美元。何为Sora?Sora为何能引发关注?又将会产生哪些影响?
从发布的视频来看,Sora 60秒的视频中,视频主体与背景保持了高度流畅性与稳定性;在一个视频里实现多角度镜头,分镜切换符合逻辑且十分流畅;此外,Sora对于光影反射、运动方式、镜头移动等细节处理非常到位。值得一提的是,在OpenAI公布的部分样片中,Sora还展现了对“物理规律”超强的学习能力,无论是飘逸的毛发还是水体波纹,Sora都能“合乎常理”地呈现出来。
OpenAI究竟是怎么做到的?其官网介绍,通过一次性为模型提供多帧的预测,他们解决了一个具有挑战性的问题。
总体而言,Sora是一个在不同时长、分辨率和宽高比的视频及图像上训练而成的扩散模型,同时采用了Transformer架构。展开讲,在视觉数据上,OpenAI把视频和图像分解为较小的数据单元Patches(补片),每个patches相当于GPT中的一个token(词元);在语言理解能力上,kaiyun登录入口登录官网采用了DALL·E 3的重标注技术,通过为视觉训练数据生成详细描述的标题,使模型更加准确地遵循用户的文本指令生成视频。另外,Sora还能将现有的静态图像转化成视频,精准赋予图像中内容以生动的动作;模型还能扩展现有视频或补全缺失的帧。
简单概括下来,Sora功能包括“文生视频、图生视频、扩展原视频”,长度最高可达60秒,视频更高清,细节更逼真,表现力更丰富。
在Sora推出后不久,OpenAI发布了这款新工具的技术报告。《每日经济新闻》经过对报告的梳理,总结出了Sora的6大优势。
Sora的显著特征之一是能够准确解释长达135个单词的长提示。它可以准确地解释用户提供的文本输入,并生成具有各种场景和人物的高质量视频剪辑。它涵盖了广泛的主题,从人物和动物到郁郁葱葱的风景、城市场景、花园,甚至是水下的纽约市,可根据用户的要求提供多样化的内容。
OpenAI利用Dall-E模型的re-captioning(重述要点)技术,生成视觉训练数据的描述性字幕,不仅能提高文本的准确性,还能提升视频的整体质量。此外,与DALL·E 3类似,OpenAI还利用GPT技术将简短的用户提示转换为更长的详细转译,并将其发送到视频模型。这使Sora能够精确地按照用户提示生成高质量的视频。
Sora除了可以将文本转化为视频,还能接受其他类型的输入提示,如已经存在的图像或视频。这使Sora能够执行广泛的图像和视频编辑任务,如创建完美的循环视频、将静态图像转化为动画、向前或向后扩展视频等。
由于可接受多样化的输入提示,用户可以根据图像创建视频或补充现有视频。作为基于Transformer的扩散模型,Sora还能沿时间线向前或向后扩展视频。
Sora具备出色的采样能力,从宽屏的1920×1080p到竖屏的1080×1920,两者之间的任何视频尺寸都能轻松应对。这意味着Sora能够为各种设备生成与其原始纵横比完美匹配的内容。而在生成高分辨率内容之前,Sora还能以小尺寸迅速创建内容原型。
Sora可以生成带有动态视角变化的视频,人物和场景元素在三维空间中的移动会显得更加自然。Sora能够很好地处理遮挡问题。现有模型的一个问题是,当物体离开视野时,它们可能无法对其进行追踪。而通过一次性提供多帧预测,Sora可确保画面主体即使暂时离开视野也能保持不变。
OpenAI官网称,Sora模型可能难以准确模拟复杂场景的物理特性,并且可能无法理解因果关系。
在OpenAI发布的技术报告中有一段Sora模型生成的错误视频,展示了桌上的水杯会先从底部流出果汁,然后沿着错误的方向和角度倒在桌上。
根据OpenAI官网的描述,Sora模型在模拟复杂场景时仍会出错,并不总能准确呈现物体状态的改变。比如,它不能准确地模拟许多日常的基本物理过程,像是玻璃破碎过程、吃食物后表面没有咬痕、凭空生成并不需要的重复或变形画面等。
此外,Sora模型的安全性、对于有害内容的把控、对于偏见和歧视内容的筛查,目前仍处于摸索当中。Sora模型目前还处于测试阶段,预计再经过一段时间的安全测试和用户反馈后才会正式提供服务,因此还无法了解Sora模型的实际效果。
北京邮电大学人机交互与认知工程实验室主任刘伟表示,Sora在短期内可能会对短视频制作、影视行业以及视觉交互界面应用产生较为显著的影响;从长期来看,这项技术会为自动驾驶、数字仿真、场景模拟等领域带来改变。
中国企业资本联盟副理事长柏文喜表示,Sora作为一种强大的视频生成工具,可以极大地降低视频制作的门槛和成本,使得更多人能够轻松创建高质量的视频内容。这将对影视、广告、游戏、新闻、教育、VR\AR等诸多行业产生深远的影响,具有广泛的应用前景。
例如在影视行业,人人都是导演的时代即将来临,Sora可以快速生成逼真的场景和特效,帮助制作人员更好地实现创意,提高制作效率。在广告行业,Sora可以根据品牌需求和营销目标,快速生成高质量的广告。
内容创作的方式变革后,文学创作领域也将迎来复兴,小说可以直接生成动漫、电视剧。视频内容集中爆发,自媒体行业也将迎来重新洗牌。随着技术的不断深挖,未来Sora会将在更多领域得到推广应用。
从上述专家的分析来看,目前最容易受到影响的或许是影视行业的从业者kaiyun体育官方网站全站入口。例如视频剪辑师、后期制作这类岗位,Sora能够自动或半自动地生成视频,这可能会导致传统的视频制作和编辑职位的需求下降。后期制作包括剪辑、特效、音效等环节,这些工作也可以通过AI技术进行自动化或半自动化处理。再比如新闻主持人这一岗位,Sora可以根据输入的文本自动生成视频新闻报道,一些简单的新闻报道任务可能会被Sora所取代。此外,游戏动画师、广告创意和设计岗位、内容创作者等岗位都有可能受到冲击。
与其他文生视频大模型仅能生成3至4秒的视频相比,Sora模型生成的60秒视频实现了明显提升。
不过,OpenAI虽然遥遥领先,却也不是完全没有压力。近几个月来,科技巨头们也纷纷宣布将带着自己的模型进入该领域,例如字节跳动的MagicVideo-V2和谷歌的Lumiere。
值得关注的是,就在Sora发布的同日,谷歌也发布其最新力作——Gemini 1.5 Pro,其将稳定处理上下文的上限扩大至100万Tokens(词元),这代表它能一次处理大量的信息——包括1小时的视频、11小时的音频、超过3万行代码或超过70万字的代码库。
(中国科技网综合蓝鲸财经、新民晚报、每日经济新闻、上海证券报、经济观察报、潇湘晨报、北青网、潮新闻等)