W
AI-Wiki
← 开源项目

MaxLiu22/Motion2MixamoRig

已整理
https://github.com/maxliu22/motion2mixamorig

这个项目可以把一个人的视频动作或照片姿势转到 Mixamo 绑定的 3D 角色上,并生成可用于 Blender 或 Unity 的角色文件。它适合想快速制作角色动作预览、游戏动画或角色绑定测试的开发者和 3D 创作者。

项目简介

这个项目可以把一个人的视频动作或照片姿势转到 Mixamo 绑定的 3D 角色上,并生成可用于 Blender 或 Unity 的角色文件。它适合想快速制作角色动作预览、游戏动画或角色绑定测试的开发者和 3D 创作者。

官方仓库资料

主要语言
Python
许可证
Apache-2.0
默认分支
main
Stars
1739
Forks
223
Open Issues
9
仓库状态
正常运行
派生仓库
非 Fork
数据采样
2026/10/27 18:50:16
资料抓取
2026/10/27 18:50:16
首次收录
2026/10/27 18:50:16

Topics:仓库未提供

AI 整理 · 基于已抓取的官方资料

核心功能

  • 从单人动作视频中提取人体运动,并重定向到 Mixamo 绑定角色
  • 从单人静态照片中恢复静态 3D 姿势,并应用到 Mixamo 角色
  • 支持生成 Mixamo 骨架、角色动画和对比预览
  • 输出 mixamo_character.glb,可导入 Blender 或 Unity
  • 支持复用已生成的 skeleton_motion.npz,把同一动作快速应用到不同角色
  • 提供自相交检测,生成 diagnostics.json,并可生成 diagnostics.html 可视化报告
  • 可选开启 --detect-hands 检测手部动作,驱动 Mixamo 手指骨骼
  • 提供 Blender 扩展,支持在 Blender 内通过界面运行流程

适用场景

  • 把真人单人动作视频转换成 Mixamo 角色动画
  • 把照片中的人物姿势应用到 3D 角色
  • 为游戏开发快速生成可导入 Unity 或 Blender 的角色动画文件
  • 用同一段动作快速测试多个 Mixamo 角色
  • 检查生成动画中是否存在角色身体部位互相穿插的问题
  • 在需要时生成手指动作而不只保留身体动作

使用方式

blender_extension: - 从 latest release 下载对应平台的 motion2mixamorig 压缩包

  • 在 Blender 中通过 Edit → Preferences → Get Extensions → Install from Disk 安装
  • 在 3D Viewport 按 N,打开 Motion2MixamoRig 面板
  • 点击 Install Runtime
  • 选择 SMPL-X 模型文件和 Mixamo 角色 FBX
  • 选择单人视频并点击 Generate Motion command_line_install: - git clone https://github.com/MaxLiu22/Motion2MixamoRig.git
  • cd Motion2MixamoRig
  • python -m venv .venv && source .venv/bin/activate
  • pip install --upgrade pip setuptools wheel && pip install "numpy>=1.26" && pip install --no-build-isolation "chumpy==0.70" && pip install -e . required_assets: - SMPL-X body model: assets/body_models/smplx/SMPLX_NEUTRAL.npz
  • Mixamo character FBX: assets/mixamo/Y_Bot.fbx 或 assets/mixamo/ 下的其他 .fbx
  • 动作视频: assets/video/<your_clip>.mp4
  • 姿势照片: assets/image/<your_photo>.jpg
  • 仅在使用 --detect-hands 时需要 MANO right hand: assets/body_models/mano/MANO_RIGHT.pkl common_commands: - m2mr doctor
  • m2mr doctor --detect-hands
  • m2mr run
  • m2mr run --video assets/video/dance.mp4 --rig assets/mixamo/Vampire.fbx
  • m2mr run --image assets/image/pose.jpg
  • m2mr run --skeleton outputs/<previous-run-dir>/skeleton_motion.npz --rig assets/mixamo/Vampire.fbx
  • m2mr diagnose outputs/<run>
  • m2mr diagnose outputs/<run> --visualize
  • m2mr run --detect-hands outputs: - outputs/<run-time>_<source>/run.json
  • outputs/<run-time>_<source>/skeleton_motion.npz
  • outputs/<run-time>_<source>/mixamo_rotations.npz
  • outputs/<run-time>_<source>/mixamo_character.glb
  • outputs/<run-time>_<source>/diagnostics.json
  • 视频输入会生成 videos/human_skeleton.mp4、mixamo_skeleton.mp4、mixamo_character.mp4、compare.mp4
  • 图片输入会生成 images/human_skeleton.png、mixamo_skeleton.png、mixamo_character.png、compare.png、before_after_360_compare.mp4

技术特点

  • 项目语言为 Python
  • README 标注需要 Python 3.11+
  • README 标注 Blender 扩展需要 Blender 4.2+
  • 第一次 m2mr run 会下载 GVHMR 权重到 weights/,约 5 GB
  • 第一次 m2mr run --detect-hands 会下载 HaMeR 手部权重到 weights/hamer/,约 2.7 GB
  • ffmpeg 是推荐依赖;没有 ffmpeg 时流程仍可运行,但输出视频会没有声音,并且不能在浏览器中播放
  • 默认输入选择逻辑:未指定 --video 或 --image 时,使用 assets/video/ 中最新添加的视频;如果视频目录为空,则使用 assets/image/ 中最新添加的图片
  • 视频运行结果写入 videos/,静态图片运行结果写入 images/
  • m2mr doctor 用于检查资源和环境;m2mr doctor --detect-hands 会额外检查手部检测所需文件和 Python 包
  • 使用 --skeleton 可以复用之前的 skeleton_motion.npz,避免重复慢速提取
  • 默认启用脚部锁定;--no-foot-lock 会保留原始重定向结果但脚底仍会放在地面上
  • diagnostics.html 的 3D 视图会从 CDN 加载 three.js,因此需要互联网连接
  • 代码许可证为 Apache-2.0;外部下载资源有各自的许可条款

限制与边界

  • 项目当前标注为 experimental
  • 输入视频或照片需要只有一个清晰可见的人
  • 人物需要从头到脚完整出现在画面中,不能被边缘裁切
  • m2mr doctor / m2mr run 在检测到画面中有两个人时会在提取前停止
  • 仓库不附带 SMPL-X、MANO、Mixamo FBX 等资源,需要用户自行下载并放入指定位置
  • 普通 m2mr run 只驱动身体,Mixamo 手指骨骼保持静止;需要 --detect-hands 才会处理手指
  • --detect-hands 大约会使运行时间翻倍
  • 如果身体流程没有清楚看到某只手腕,该手会保持静止
  • README 中说明 Blender 扩展已在 macOS Apple Silicon 上测试
  • 自相交检测不检查地面
  • ffmpeg 缺失时输出视频无声且不能在浏览器中播放

README

README 介绍了 Motion2MixamoRig 的目标:把单人视频动作或照片姿势迁移到 Adobe Mixamo 绑定角色,并输出预览和 .glb 角色文件。文档提供了 Blender 扩展和命令行两种使用方式,说明了 Python、Blender、ffmpeg、SMPL-X、Mixamo FBX、MANO 等依赖和资源准备步骤。快速开始部分涵盖环境检查、默认运行、指定视频或图片、复用骨架、更换角色、自相交诊断和手部检测。输出部分列出了每次运行生成的 skeleton_motion.npz、mixamo_rotations.npz、mixamo_character.glb、diagnostics.json,以及视频或图片预览文件。README 还说明项目处于实验阶段,并列出代码与外部资源的许可注意事项。

关联 Wiki 词条

暂无已建立的词条关联。