リポジトリ情報はまだ収集していません。
No updates detected yet. GitHub releases will appear here.
Shisei: open-source, self-hosted AI video studio as a DeepSeek Harness (dsh) plugin — vertical short dramas from one sentence, or recast dance videos with AI characters, on your own cloud GPU
翻訳待ち
Loading the full README.
Read the full README ↗实测拍一部 30 秒短剧最低只要 3 块钱。Shisei(dsh-shisei)是我做的 DeepSeek Harness(dsh,DeepSeek 的开源 agent 工具,带网页界面)插件,代码按 Apache-2.0 开源(三个工作流为 GPL-3.0),在线读取 shisei.indaloop.app 的 CC0 公开素材库。
@ 点名角色、道具、段落,或在画面上画圈跟导演聊,只重拍那一段,旧版随时换回。dsh 0.2.x(网页界面)、Node 20+、Python 3.9+、ssh/scp(macOS 自带)。登录 GPU 机器用的 ssh 密钥,本机没有的话在“开始”页点“生成 ssh 密钥”。ffmpeg(对标片要 4.4+,没有可在插件“设置”里一键装)。可选 whisper.cpp(用来核对台词)。dsh 里配一个大模型,“开始”页推荐蚂蚁 MaaS 的 Ling-3.2-Flash(能看图、有免费用量)。用 dsh 的插件命令从 npm 安装。写成 @^0.1:dsh 用的 pnpm 默认跳过发布不到一天的版本,不写版本号时刚发版那天会装成空的占位包 0.0.0。
# 仅首次需要:从 dsh 内置的 web 模板创建一个 profile;已有就跳过,下面改用你的 profile 名
dsh --profile web --from-default-profile web --dump-config >/dev/null
dsh plugin --profile web add 'dsh-shisei@^0.1'
dsh --profile web
想改代码或用最新的 main,从 git 克隆安装:
git clone https://github.com/wquguru/dsh-shisei.git
dsh plugin --profile web add "$PWD/dsh-shisei"
打开 dsh 网页左栏的“Shisei”,跟着“开始”页配好导演模型、优云智算密钥和 GPU 机器,就能复制内置的《打烊之后》《末班车》《晾衣绳》三个练手剧本开拍。
建 GPU 机器约 10 分钟、不到 ¥1:插件用免费的 Shisei 社区镜像建,环境已装好。
| 场景 | 你做什么 | 得到什么 |
|---|---|---|
| 拍竖屏短剧 | 写一句话故事,逐张审角色、场景、道具和首帧,点“开机并拍”,从几条里选一条 | 9:16 MP4 成片,含对白、内心独白、环境声、统一响度、软字幕,画面无水印 |
| 对话改镜头 | 在右栏用 @ 或画圈跟导演抱怨,确认新分镜和报价后重拍 | 只重拍指定段落,旧首帧和旧视频随时换回 |
| 照对标片的拍法写 | 选一段本机参考视频(≤ 3 分钟),再给一句你自己的故事 | 照着它的景别、运镜、光线写出的新剧本(只学拍法,原片不上传) |
| 换角 | 上传舞蹈视频(一段 2–15 秒,或整段最长 5 分钟)、成年角色的全身图和脸部特写、一句衣服描述 | 原视频 / 3D 白模 / 换角结果三栏对照成片 |
下面三张图的成片都来自我用自己的 4090 48G(当时 ¥3.8/小时)跑出来的真机实测:
| 日期 | 做了什么 | 规模 | 用时 | 花费 |
|---|---|---|---|---|
| 2026-11-10 | 短剧《末班车》 | 5 镜、2 角色、1 道具,每镜 2 条,成片 29.4 秒 | 两次开机共约 45 分钟 | 约 ¥3 |
| 2026-11-10 | 对话改镜头《末班车 v2》 | 三句抱怨,导演改 5 镜重拍 | 约 40 分钟 | 约 ¥2.5 |
| 2026-11-11 | 短剧《晾衣绳》 | 4 段 11 镜、2 角色,成片 40.0 秒 | — | 约 ¥5.9(含五次空闲待机约 44 分钟) |
| 2026-11-11 | 换角《脏辫》 | 14.4 秒 × 2 条 | 换人每条约 26.5 分钟 | 约 ¥4.3 |
每次真实单价以开机确认框向平台实时查到的为准。
已知的坑:
1 2,⌘Z 撤销)。@ 带上演员、场景、道具、某一段或某一条视频,也能带别的项目或素材库里的图。《末班车 v2》实测:我只打了三句抱怨,导演自己抽帧找原因、改 5 镜、报价、等确认、重拍、选条、合成,约 40 分钟 ¥2.5。
都只改项目数据,下次点拍才开机。2026-11-10 真机验证过(约 7 分钟 / ¥0.43)。
在首页故事框旁点“对标片”,选一段本机视频(≤ 3 分钟,需要 ffmpeg 4.4+)。本机切镜、抽帧拼成联系表,看图模型从固定选项里填每镜的景别、运镜、光线、人数,归并成段的骨架交给导演。原片的人、长相、台词和画面不进项目,原视频不上传。
实测:18 秒对标片拆成 5 镜,导演写出的 5 镜在景别和运镜上逐镜对上,约 7 分钟,不花 GPU 的钱。
首页切到“换角”,上传舞蹈视频(选 2–15 秒的一段,或整段最长 5 分钟)、成年角色的全身正面图和脸部特写、一句衣服描述。确认开机后依次跑 SAM 3D Body 动捕、Blender 白模、MiniMax H3 + 换人 LoRA,输出三栏对照。不满意可以加拍或改衣服重拍,动捕和白模直接复用。选整段时先试拍开头 4.5 秒的几条,挑一条再点“照第 N 条拍完整段”,分几部分接着拍、拼成一条(25 秒的舞约 1 小时、¥4–5,试拍的花费也算进上限)。整段的动作和脸照着选中的那条,衣服细节可能有出入。
dsh 里配的大模型负责写剧本、拆对标片骨架、按你的退回原因改分镜,所有项目文件存在本机 ~/.dsh/shisei/jobs/。ssh 隧道连上云端只监听 127.0.0.1 的 ComfyUI(云端工作流服务),跑 Qwen-Image(出图模型)、SAM 3D Body、Blender 或 MiniMax H3。ffmpeg 统一响度、封软字幕导出无水印 MP4,云端空闲 10 分钟自动停机。这些规则写在代码里,不能关:
127.0.0.1,经 ssh 隧道访问,每次开机从外网确认端口关着,队列里出现不是 Shisei 提交的任务就告警暂停。密钥只放在 dsh 凭据库或环境变量里,不落盘、不回显。ssh 隧道)、dsh 里的导演模型、看图模型(配了密钥才发首帧、抽帧和对标片联系表,对标片原视频不出本机),以及只读的 Shisei 素材库(对方能看到你的 IP)。花钱的地方只有 GPU 按秒计费和导演模型、看图模型各自的 API 费用。详见 PRIVACY.md。dsh 开着时每 3 分钟巡检一次,巡检只补定时关机,从不直接停机。在线 AI 视频产品点开网页就能用,不用自己配 dsh 和云端 GPU 机器,也不用等 2–3 分钟的机器冷启动。
Shisei 适合不想付包月订阅费、想把工程文件和旧版本都留在自己电脑上的人。你只为生成画面那几分钟的云 GPU 按秒付费,成片画面无水印,代码开源,还能在画面上画圈让导演只重拍不满意的那一段。
插件免费。花钱只有两处:GPU 按秒计费(见上面的实测表),以及导演模型、看图模型各自的 API 费用(推荐的 Ling-3.2-Flash 有免费用量)。
能。角色参考可以是真人(含公众人物),插件不拦截;取得本人同意、遵守当地肖像权和深度合成标识规定由使用者负责。成片画面不加水印,AI 生成标记只写在文件元数据里。上传对话框只收场景、道具、衣服,因为换装链路只画衣服;人物图直接放在项目里当参考。
显卡用 4090 48G,别的卡在真机跑通 gpu-qualify 后陆续加入。系统用 macOS,Windows 和 Linux 在路线图里。
不一定。机器有自己的环境版本号,只有要装的东西变了才加一。对不上时导演会告诉你,“机器”页也会在那台上标“环境旧了”;等它停下,点“更新环境…”即可:确认价钱后插件开机、重跑 setup.sh(只补变了的部分)、做完安全检查自动停机。规则见 docs/IMAGE.md。
插件代码可以。生成用的模型各有许可,MiniMax H3 和换人 LoRA 是 minimax-h3-community-license,商用前先读(见下方“许可”)。
| 情况 | 怎么办 |
|---|---|
| 没填密钥 / 没选 GPU 机器 / 没有 ssh 密钥 | 去“开始”页对应那一步(ssh 密钥点“生成 ssh 密钥”),或“设置” |
| 没装 compshare 命令行 | “设置”→“安装 compshare-cli”(装在插件自己的目录) |
| 导演没写成 / 很久没动静 | 在导演栏顶上换一个模型(会把你的上一条重发),或在 dsh 里配一个能用的模型再点重试 |
| 超出项目上限 | 少拍几条 / 几段,或点“调高上限” |
| GPU 没货 | 插件每 2 分钟自动重试,等待不计费 |
| 机器上出现不是 Shisei 提交的任务 | 插件已暂停队列;去“机器”页停机,再到控制台查实例安全 |
| 机器环境版本旧了 / 对不上 | 等机器停下,在“机器”页点“更新环境…”;提示“比插件新”就升级插件 |
| 机器被别的项目占着 | 点“排队,空出来就拍”,或在“开始”页再建一台;“机器”页能看到谁在用 |
| 预审一直不出结果 | “设置”里测一下看图模型;预审只是建议,不影响你手动通过 |
skills/shisei-motion/assets/workflows/ 下的 swap_studio.json(改自 ComfyUI-BFSNodes 的换人示例)、drama_take.json(用了它的 MiniMax H3 采样链)、mocap_glb.json按 GPL-3.0-only 分发(NOTICE、LICENSES/GPL-3.0.txt);同目录的 drama_image.json 是 Apache-2.0。shisei.indaloop.app 的公开素材,里面的场景、道具和衣服是 CC0。minimax-h3-community-license,Qwen-Image、SAM 3D Body、SAM 3.1、MoGe 各有许可;商用前请先读。