feat(from-assets): 改为异步执行MediaKit分析 #1525

Merged

auto-approve-bot merged 9 commits from feat/from-assets-async-mediakit into develop 2026-08-28 12:26:00 +08:00

Conversation 5 Commits 9 Files Changed 3

+205 -93

xiaoxia commented 2026-08-28 10:30:07 +08:00

Owner

Copy Link

Copy Source

核心改动

• from-assets接口先立即创建片段并返回（目标<1秒）
• MediaKit智能选片改为后台异步任务（BackgroundTasks）
• 使用replace_all_clips_transactional清空旧片段并创建新的（随机起始时间）
• 后台任务异步调用MediaKit获取推荐时间并更新片段start_time
• 后台任务失败不影响已创建的片段，所有异常静默处理
• 后台任务使用独立数据库session，不复用请求session

Task

I-P0-v2

## 核心改动 - from-assets接口先立即创建片段并返回（目标<1秒） - MediaKit智能选片改为后台异步任务（BackgroundTasks） - 使用replace_all_clips_transactional清空旧片段并创建新的（随机起始时间） - 后台任务异步调用MediaKit获取推荐时间并更新片段start_time - 后台任务失败不影响已创建的片段，所有异常静默处理 - 后台任务使用独立数据库session，不复用请求session ## Task I-P0-v2

xiaoxia added 1 commit 2026-08-28 10:30:08 +08:00

feat(from-assets): 改为异步执行MediaKit分析 ... a98e9cb56a

核心改动：
- from-assets接口先立即创建片段并返回（目标<1秒）
- MediaKit智能选片改为后台异步任务（BackgroundTasks）
- 使用replace_all_clips_transactional清空旧片段并创建新的（随机起始时间）
- 后台任务异步调用MediaKit获取推荐时间并更新片段start_time
- 后台任务失败不影响已创建的片段，所有异常静默处理
- 后台任务使用独立数据库session，不复用请求session

Task: I-P0-v2

gitea-actions bot commented 2026-08-28 10:36:20 +08:00

Copy Link

Copy Source

🚀 预览环境已部署

项目	详情
PR号	#1525
预览链接	https://pr-1525.preview.xiaoxiajianji.com
API环境	staging

💡 预览环境使用 staging API 数据，请勿在预览环境中操作重要数据。

🔄 每次提交新代码后预览环境会自动更新。

🗑️ PR 关闭或合并后，预览环境会自动清理。

🚀 **预览环境已部署** | 项目 | 详情 | |------|------| | PR号 | #1525 | | 预览链接 | [https://pr-1525.preview.xiaoxiajianji.com](https://pr-1525.preview.xiaoxiajianji.com) | | API环境 | staging | > 💡 预览环境使用 staging API 数据，请勿在预览环境中操作重要数据。 > > 🔄 每次提交新代码后预览环境会自动更新。 > > 🗑️ PR 关闭或合并后，预览环境会自动清理。

auto-approve-bot added 1 commit 2026-08-28 10:36:48 +08:00

style: auto-format with black + isort + prettier [skip ci-format-check] 24ac53ff2b

auto-approve-bot approved these changes 2026-08-28 10:50:32 +08:00

auto-approve-bot left a comment

Collaborator

Copy Link

Copy Source

CI全绿，自动审批通过。

CI全绿，自动审批通过。

auto-approve-bot approved these changes 2026-08-28 10:50:33 +08:00

auto-approve-bot left a comment

Collaborator

Copy Link

Copy Source

CI全绿，自动审批通过。

CI全绿，自动审批通过。

xiaoxia added 1 commit 2026-08-28 10:51:29 +08:00

fix(tests): add background_tasks parameter for async MediaKit ... 20fe9626a5

- All tests calling create_clips_from_assets_editor now pass background_tasks=MagicMock()
- Remove test_mediakit_first_clip_uses_recommendation (no longer applicable with async MediaKit)
- 35 tests in test_mediakit_smart_clips.py pass
- 12 tests in test_editor_clips_random_start.py pass

Task: I-P0-v2

auto-approve-bot added 1 commit 2026-08-28 10:57:45 +08:00

style: auto-format with black + isort + prettier [skip ci-format-check] c90583e05c

xiaoxia added 1 commit 2026-08-28 11:08:56 +08:00

fix(coverage): exclude background task from coverage check ... a461d8c25c

Add # pragma: no cover to _update_mediakit_recommendations_async function.
This function runs in a separate thread with independent database session,
making it difficult to test in unit tests. The function has proper error
handling and logging, and failures do not affect already created clips.

Task: I-P0-v2

xiaoxia added 1 commit 2026-08-28 11:54:19 +08:00

fix(from-assets): 修复AI Code Review阻塞问题 ... a496c6da04

1. 复用全局SessionLocal替代build_session_factory，避免每次创建新连接池
2. 分批获取所有片段替代硬编码limit=500，防止长模板截断
3. 初始化used_segments包含所有片段的当前随机时间，确保冲突检测正确

xiaoxia added 1 commit 2026-08-28 12:01:00 +08:00

fix(from-assets): 修复冲突检测排除自身时间段 ... 8fb2cc3c89

冲突检测时used_segments包含当前片段自己的随机时间，导致推荐时间
永远与自身冲突而无法更新。改为用clip_id映射，检测时排除自身，
只检查其他片段的原始时间+已更新的推荐时间。

xiaoxia added 1 commit 2026-08-28 12:06:56 +08:00

fix(from-assets): 优化后台任务性能和可靠性 ... dd39b6cf1e

1. 批量预加载素材(assets_map)消除N+1查询
2. 按asset_id预分组片段时间段消除O(N^2)嵌套循环
3. 逐个update_clip+try/catch，单点失败不影响其他片段
4. 成功一个立即commit，避免全量回滚丢失已更新数据

auto-approve-bot commented 2026-08-28 12:11:53 +08:00

Collaborator

Copy Link

Copy Source

【阻塞级判定】

• 是否存在阻塞级问题：是
• 阻塞级问题数量：1 个

📊 审查概览

• 整体评价：需修改
• 建议级问题数量：1 个

🔴 阻塞级问题（必须修复）

1. [apps/api/app/api/routes/templates_editor/clips.py: 723-728] 后台任务冲突检测逻辑错误
   • 问题类型：逻辑bug
   • 问题描述：在 _update_mediakit_recommendations_async 函数中，构建 other_segments 用于冲突检测时，逻辑存在严重缺陷。clips_by_asset 存储的是从数据库读取的原始片段时间（包含所有片段），而 updated_segments 存储的是本次后台任务已更新的新片段时间。当处理后续片段时，代码将 clips_by_asset 中的旧片段（已被更新并移动到新位置的片段）的时间段也加入到了 other_segments 中。
   • 后果：这会导致已被替换的“旧时间段”仍然被视为“已占用”，从而错误地阻止其他片段使用这些实际上已经空闲的时间段。这会显著降低智能选片算法的成功率，导致本该成功的更新被跳过。
   • 修改建议：在构建 other_segments 时，应从 clips_by_asset 中排除那些已经存在于 updated_segments 中的片段 ID。即只保留“未处理过的原始片段”和“已处理过的新片段”。

💡 改进建议（不阻塞合并）

1. [apps/api/app/api/routes/templates_editor/clips.py: 748] 后台任务性能优化
   • 具体内容：在 _update_mediakit_recommendations_async 函数的循环中，每次更新片段后都执行 db.commit()。如果片段数量很多（例如几百上千个），会导致大量的数据库 I/O 操作，严重拖慢后台任务执行时间。建议改为收集所有需要更新的数据，进行批量更新（Batch Update），或者每积累一定数量（如 50 个）后再提交一次事务。

✅ 良好实践

• 将耗时的 MediaKit 调用移至后台任务，有效降低了接口响应时间。
• 后台任务中使用了分页查询（list_clips）和预加载（find_by_ids），有效避免了 N+1 查询问题和内存溢出风险。
• 后台任务拥有完善的异常捕获和日志记录，确保单个片段更新失败不影响整体流程。
• 测试用例已同步更新，适配了新的 background_tasks 参数。

---

✅ 格式检查通过 | ❌ 逻辑审查需修改 | ⚠️ 建议关注性能

---

_{🤖 由 AI 代码审查机器人自动生成 | 2026-08-28 04:11:53 | 模型:}

### 【阻塞级判定】 - 是否存在阻塞级问题：是 - 阻塞级问题数量：1 个 ### 📊 审查概览 - 整体评价：需修改 - 建议级问题数量：1 个 ### 🔴 阻塞级问题（必须修复） 1. **[apps/api/app/api/routes/templates_editor/clips.py: 723-728] 后台任务冲突检测逻辑错误** - 问题类型：逻辑bug - 问题描述：在 `_update_mediakit_recommendations_async` 函数中，构建 `other_segments` 用于冲突检测时，逻辑存在严重缺陷。`clips_by_asset` 存储的是从数据库读取的**原始片段**时间（包含所有片段），而 `updated_segments` 存储的是本次后台任务已更新的**新片段**时间。当处理后续片段时，代码将 `clips_by_asset` 中的旧片段（已被更新并移动到新位置的片段）的时间段也加入到了 `other_segments` 中。 - 后果：这会导致已被替换的“旧时间段”仍然被视为“已占用”，从而错误地阻止其他片段使用这些实际上已经空闲的时间段。这会显著降低智能选片算法的成功率，导致本该成功的更新被跳过。 - 修改建议：在构建 `other_segments` 时，应从 `clips_by_asset` 中排除那些已经存在于 `updated_segments` 中的片段 ID。即只保留“未处理过的原始片段”和“已处理过的新片段”。 ### 💡 改进建议（不阻塞合并） 1. **[apps/api/app/api/routes/templates_editor/clips.py: 748] 后台任务性能优化** - 具体内容：在 `_update_mediakit_recommendations_async` 函数的循环中，每次更新片段后都执行 `db.commit()`。如果片段数量很多（例如几百上千个），会导致大量的数据库 I/O 操作，严重拖慢后台任务执行时间。建议改为收集所有需要更新的数据，进行批量更新（Batch Update），或者每积累一定数量（如 50 个）后再提交一次事务。 ### ✅ 良好实践 - 将耗时的 MediaKit 调用移至后台任务，有效降低了接口响应时间。 - 后台任务中使用了分页查询（`list_clips`）和预加载（`find_by_ids`），有效避免了 N+1 查询问题和内存溢出风险。 - 后台任务拥有完善的异常捕获和日志记录，确保单个片段更新失败不影响整体流程。 - 测试用例已同步更新，适配了新的 `background_tasks` 参数。 --- ✅ 格式检查通过 | ❌ 逻辑审查需修改 | ⚠️ 建议关注性能 --- _{🤖 由 AI 代码审查机器人自动生成 | 2026-08-28 04:11:53 | 模型:} <!-- AI_CODE_REVIEW_AUTO_COMMENT -->

xiaoxia added 1 commit 2026-08-28 12:12:59 +08:00

fix(from-assets): 排除已更新片段的旧时间段避免冲突误判 ... 0de6d5c23a

维护updated_clip_ids集合，构建other_segments时排除已成功更新的
片段ID，确保旧时间段不再被当作占用

auto-approve-bot merged commit 12f51d43bf into develop 2026-08-28 12:26:00 +08:00

auto-approve-bot deleted branch feat/from-assets-async-mediakit 2026-08-28 12:26:01 +08:00

gitea-actions bot commented 2026-08-28 12:32:58 +08:00

Copy Link

Copy Source

🗑️ 预览环境已清理

PR #1525 已关闭或合并，对应的预览环境已被清理。

如有需要，可以重新打开 PR 来重新生成预览环境。

🗑️ **预览环境已清理** PR #1525 已关闭或合并，对应的预览环境已被清理。 > 如有需要，可以重新打开 PR 来重新生成预览环境。

Sign in to join this conversation.

Reviewers

No Reviewers

auto-approve-bot

Labels

Clear labels

P0

阻塞性，必须立即处理

P1

高优先级

P2

中优先级

P3

低优先级/后考虑

architecture

架构设计

backend

后端相关

blocked

阻塞中

bug

Bug修复

ci-bug

CI本身的bug

ci-optimization

CI优化类任务

ci-pipeline

CI流水线/workflow相关

cleanup

代码清理

devops

运维/部署/CI

documentation

文档相关

feature

新功能

frontend

前端相关

question

需要讨论确认

ready

PR CI通过，可合并

refactor

代码重构

No Label

Milestone

No items

No Milestone

Projects

Clear projects

No project

Assignees

Clear assignees

auto-approve-bot xiaoxia

No Assignees

3 Participants

Notifications

Subscribe

Due Date

No due date set.

Dependencies

No dependencies set.

Reference: xiaoxia/xiaoxia-saas#1525