feat: MediaKit视频理解能力深度集成到渲染引擎+封面生成 #1341

Open
opened 2026-08-11 17:31:45 +08:00 by xiaoxia · 0 comments
Owner

背景

当前MediaKit仅作为封面抽帧工具使用,没有发挥视频理解能力。
封面从OSS原始素材抽帧,而非从预览视频成品中选帧,流程冗余且不够智能。

目标

  1. 渲染引擎集成MediaKit视频理解:在生成预览视频前,先用MediaKit分析素材内容(场景识别、关键画面、内容主题),将理解结果注入渲染决策,使每次生成的视频有差异化,避免重复。
  2. 封面从预览视频成品中抽取:预览视频生成完成后,用MediaKit从成品视频中智能选帧(理解画面内容,选最好的一帧),而非从原始素材抽帧。
  3. 移除当前冗余的封面生成路径:不再保留从原始素材直接抽帧的并行路径,流程统一为串行:素材->MediaKit理解->渲染引擎生成预览视频->MediaKit智能选帧做封面。

设计要点

  • MediaKit视频理解前置:渲染前先分析素材,输出场景/关键帧/内容标签
  • 渲染引擎消费理解结果:用AI认知驱动视频生成,而非纯模板机械套用
  • 封面生成后置:预览视频完成后触发,不需要降级方案
  • 简化架构:移除cover.py中从原始素材抽帧的冗余路径

优先级

P1 - 架构优化,影响AI生成视频的核心差异化能力

## 背景 当前MediaKit仅作为封面抽帧工具使用,没有发挥视频理解能力。 封面从OSS原始素材抽帧,而非从预览视频成品中选帧,流程冗余且不够智能。 ## 目标 1. 渲染引擎集成MediaKit视频理解:在生成预览视频前,先用MediaKit分析素材内容(场景识别、关键画面、内容主题),将理解结果注入渲染决策,使每次生成的视频有差异化,避免重复。 2. 封面从预览视频成品中抽取:预览视频生成完成后,用MediaKit从成品视频中智能选帧(理解画面内容,选最好的一帧),而非从原始素材抽帧。 3. 移除当前冗余的封面生成路径:不再保留从原始素材直接抽帧的并行路径,流程统一为串行:素材->MediaKit理解->渲染引擎生成预览视频->MediaKit智能选帧做封面。 ## 设计要点 - MediaKit视频理解前置:渲染前先分析素材,输出场景/关键帧/内容标签 - 渲染引擎消费理解结果:用AI认知驱动视频生成,而非纯模板机械套用 - 封面生成后置:预览视频完成后触发,不需要降级方案 - 简化架构:移除cover.py中从原始素材抽帧的冗余路径 ## 优先级 P1 - 架构优化,影响AI生成视频的核心差异化能力
Sign in to join this conversation.
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: xiaoxia/xiaoxia-saas#1341