← 开源项目https://github.com/maxliu22/motion2mixamorig
MaxLiu22/Motion2MixamoRig
已整理这个项目可以把一个人的视频动作或照片姿势转到 Mixamo 绑定的 3D 角色上,并生成可用于 Blender 或 Unity 的角色文件。它适合想快速制作角色动作预览、游戏动画或角色绑定测试的开发者和 3D 创作者。
项目简介
这个项目可以把一个人的视频动作或照片姿势转到 Mixamo 绑定的 3D 角色上,并生成可用于 Blender 或 Unity 的角色文件。它适合想快速制作角色动作预览、游戏动画或角色绑定测试的开发者和 3D 创作者。
官方仓库资料
- 主要语言
- Python
- 许可证
- Apache-2.0
- 默认分支
- main
- Stars
- 1739
- Forks
- 223
- Open Issues
- 9
- 仓库状态
- 正常运行
- 派生仓库
- 非 Fork
- 数据采样
- 2026/10/27 18:50:16
- 资料抓取
- 2026/10/27 18:50:16
- 首次收录
- 2026/10/27 18:50:16
Topics:仓库未提供
AI 整理 · 基于已抓取的官方资料
核心功能
- 从单人动作视频中提取人体运动,并重定向到 Mixamo 绑定角色
- 从单人静态照片中恢复静态 3D 姿势,并应用到 Mixamo 角色
- 支持生成 Mixamo 骨架、角色动画和对比预览
- 输出 mixamo_character.glb,可导入 Blender 或 Unity
- 支持复用已生成的 skeleton_motion.npz,把同一动作快速应用到不同角色
- 提供自相交检测,生成 diagnostics.json,并可生成 diagnostics.html 可视化报告
- 可选开启 --detect-hands 检测手部动作,驱动 Mixamo 手指骨骼
- 提供 Blender 扩展,支持在 Blender 内通过界面运行流程
适用场景
- 把真人单人动作视频转换成 Mixamo 角色动画
- 把照片中的人物姿势应用到 3D 角色
- 为游戏开发快速生成可导入 Unity 或 Blender 的角色动画文件
- 用同一段动作快速测试多个 Mixamo 角色
- 检查生成动画中是否存在角色身体部位互相穿插的问题
- 在需要时生成手指动作而不只保留身体动作
使用方式
blender_extension: - 从 latest release 下载对应平台的 motion2mixamorig 压缩包
- 在 Blender 中通过 Edit → Preferences → Get Extensions → Install from Disk 安装
- 在 3D Viewport 按 N,打开 Motion2MixamoRig 面板
- 点击 Install Runtime
- 选择 SMPL-X 模型文件和 Mixamo 角色 FBX
- 选择单人视频并点击 Generate Motion command_line_install: - git clone https://github.com/MaxLiu22/Motion2MixamoRig.git
- cd Motion2MixamoRig
- python -m venv .venv && source .venv/bin/activate
- pip install --upgrade pip setuptools wheel && pip install "numpy>=1.26" && pip install --no-build-isolation "chumpy==0.70" && pip install -e . required_assets: - SMPL-X body model: assets/body_models/smplx/SMPLX_NEUTRAL.npz
- Mixamo character FBX: assets/mixamo/Y_Bot.fbx 或 assets/mixamo/ 下的其他 .fbx
- 动作视频: assets/video/<your_clip>.mp4
- 姿势照片: assets/image/<your_photo>.jpg
- 仅在使用 --detect-hands 时需要 MANO right hand: assets/body_models/mano/MANO_RIGHT.pkl common_commands: - m2mr doctor
- m2mr doctor --detect-hands
- m2mr run
- m2mr run --video assets/video/dance.mp4 --rig assets/mixamo/Vampire.fbx
- m2mr run --image assets/image/pose.jpg
- m2mr run --skeleton outputs/<previous-run-dir>/skeleton_motion.npz --rig assets/mixamo/Vampire.fbx
- m2mr diagnose outputs/<run>
- m2mr diagnose outputs/<run> --visualize
- m2mr run --detect-hands outputs: - outputs/<run-time>_<source>/run.json
- outputs/<run-time>_<source>/skeleton_motion.npz
- outputs/<run-time>_<source>/mixamo_rotations.npz
- outputs/<run-time>_<source>/mixamo_character.glb
- outputs/<run-time>_<source>/diagnostics.json
- 视频输入会生成 videos/human_skeleton.mp4、mixamo_skeleton.mp4、mixamo_character.mp4、compare.mp4
- 图片输入会生成 images/human_skeleton.png、mixamo_skeleton.png、mixamo_character.png、compare.png、before_after_360_compare.mp4
技术特点
- 项目语言为 Python
- README 标注需要 Python 3.11+
- README 标注 Blender 扩展需要 Blender 4.2+
- 第一次 m2mr run 会下载 GVHMR 权重到 weights/,约 5 GB
- 第一次 m2mr run --detect-hands 会下载 HaMeR 手部权重到 weights/hamer/,约 2.7 GB
- ffmpeg 是推荐依赖;没有 ffmpeg 时流程仍可运行,但输出视频会没有声音,并且不能在浏览器中播放
- 默认输入选择逻辑:未指定 --video 或 --image 时,使用 assets/video/ 中最新添加的视频;如果视频目录为空,则使用 assets/image/ 中最新添加的图片
- 视频运行结果写入 videos/,静态图片运行结果写入 images/
- m2mr doctor 用于检查资源和环境;m2mr doctor --detect-hands 会额外检查手部检测所需文件和 Python 包
- 使用 --skeleton 可以复用之前的 skeleton_motion.npz,避免重复慢速提取
- 默认启用脚部锁定;--no-foot-lock 会保留原始重定向结果但脚底仍会放在地面上
- diagnostics.html 的 3D 视图会从 CDN 加载 three.js,因此需要互联网连接
- 代码许可证为 Apache-2.0;外部下载资源有各自的许可条款
限制与边界
- 项目当前标注为 experimental
- 输入视频或照片需要只有一个清晰可见的人
- 人物需要从头到脚完整出现在画面中,不能被边缘裁切
- m2mr doctor / m2mr run 在检测到画面中有两个人时会在提取前停止
- 仓库不附带 SMPL-X、MANO、Mixamo FBX 等资源,需要用户自行下载并放入指定位置
- 普通 m2mr run 只驱动身体,Mixamo 手指骨骼保持静止;需要 --detect-hands 才会处理手指
- --detect-hands 大约会使运行时间翻倍
- 如果身体流程没有清楚看到某只手腕,该手会保持静止
- README 中说明 Blender 扩展已在 macOS Apple Silicon 上测试
- 自相交检测不检查地面
- ffmpeg 缺失时输出视频无声且不能在浏览器中播放
README
README 介绍了 Motion2MixamoRig 的目标:把单人视频动作或照片姿势迁移到 Adobe Mixamo 绑定角色,并输出预览和 .glb 角色文件。文档提供了 Blender 扩展和命令行两种使用方式,说明了 Python、Blender、ffmpeg、SMPL-X、Mixamo FBX、MANO 等依赖和资源准备步骤。快速开始部分涵盖环境检查、默认运行、指定视频或图片、复用骨架、更换角色、自相交诊断和手部检测。输出部分列出了每次运行生成的 skeleton_motion.npz、mixamo_rotations.npz、mixamo_character.glb、diagnostics.json,以及视频或图片预览文件。README 还说明项目处于实验阶段,并列出代码与外部资源的许可注意事项。
关联 Wiki 词条
暂无已建立的词条关联。