可以理解成是帮助AI理解长视频的Infra,所以会去真的理解每一帧在表达什么,以及帧内元素相互之间时间序列上的关联。目前还是比较初步的阶段,但是LVMM的方向是…
可以理解成是帮助AI理解长视频的Infra,所以会去真的理解每一帧在表达什么,以及帧内元素相互之间时间序列上的关联。目前还是比较初步的阶段,但是LVMM的方向是正确的。个人认为真正的卡点还是在数据,仅仅理解图形元素只是第一步,更多的是很多进一步抽象的信息,所谓电影当中称之为“视听语言”,比如景别、运镜、人物关系人物神情和“空気”、色彩光线、环境描写当中的细节等等,需要的是分镜脚本、拉片这样的数据,最好是能管线化生成训练数据,可能是结合理解生成一体化、时序transformer和动态图嵌入等技术,相互反哺左脚踩右脚。所以还是方向正确的,期待founder能持续突破,点个赞。
0 条评论
回复 @ · 取消