技术概述

腾讯ARC实验室推出的FlexiAct模型已在Hugging Face平台开源。该技术能够将视频中的动作自然地迁移到不同的目标图像上，并适应各种布局和视角变化，适用于计算机视觉、内容创作和交互应用等多个领域。

官方地址：https://huggingface.co/TencentARC

主要特点

1. 动作迁移能力

  • 使用一张目标图像和参考视频即可生成连贯动画
  • 适应不同的角色体型和外观风格
  • 自动调整不同视角间的动作差异

2. 应用场景

  • 影视制作
    • 将静态图片转化为动态画面
    • 复用已有动作数据
  • VR/AR应用
    • 为虚拟形象创建动作
    • 增强现实中的动作交互
  • 游戏开发
    • 批量生成NPC动画
    • 定制玩家角色动作

3. 技术特性

  • 支持Hugging Face平台快速使用
  • 兼容PyTorch和TensorFlow框架
  • 提供适合移动设备的优化版本

技术对比

特性FlexiAct传统方法3D骨骼动画
输入要求单张图片+视频多角度视频3D模型+动作数据
适用性不同体型和视角相似结构固定骨骼结构
运行要求普通GPU即可运行需要高性能服务器专业动捕设备
处理速度3秒/帧（1080P）15秒/帧需要后期调整

技术实现要点

  1. 从视频中提取动作信息
  2. 调整动作以适应目标图像
  3. 确保动作自然合理

潜在影响

  • 降低动画制作的门槛
  • 为老照片添加动态效果提供可能
  • 有望减少特效制作的时间成本

使用建议

  1. 内容创作者：尝试为插画角色添加现实动作
  2. 开发人员：集成到虚拟形象开发流程中
  3. 研究人员：探索更多应用可能性