如何用 LoRA 建立一致的 AI 角色

一致的 AI 角色，是換了衣服、姿势、地点、表情与光线后，观眾仍然认得出同一个人。目标不是复制同一张图片，而是在镜头改变时保留身份。

角色一致性有四种常见控制方式：

先用提示词探索。只有当角色成為需要反覆使用的资产，才值得训练 LoRA。

LoRA 是什么？

LoRA 全名是 Low-Rank Adaptation（低秩适应）。原始 LoRA 论文的核心做法，是凍结预训练模型，另外学习一组小很多的更新矩阵，而不是改动模型的所有权重。

简化后可以理解為：

调整后的 W = 原始 W + scale × (B × A)

A 与 B 的 rank 很小，因此 adapter 的可训练参数远少於完整模型。套用到图片模型时，这些更新可以让 denoiser 或 transformer 学會某个角色身份、风格、物件或視觉概念。Hugging Face Diffusers 文件也把 LoRA 定義為可载入 denoiser、text encoder 或兩者的轻量 adapter。

实務上有三个重要结果：

1. LoRA 不是完整图片模型。 Adapter 通常是一个 .safetensors 档，仍然需要相容的基礎模型。
2. Trigger word 只是标籤，不是身份本身。 真正的身份来自资料集与已训练权重。
3. LoRA weight 不是越大越好。 太强可能保住脸，卻犧牲表情、服装、构图与真实感。

LoRA 提高身份一致性，但不會取代提示词结构、姿势控制、构图或美术指导。

1. 在做资料集之前先选基礎模型

角色 adapter 會綁定训练时使用的模型架构与 checkpoint 家族。用一个 base 训练，卻放进不相容的 pipeline，可能完全无法载入，也可能只产生微弱或扭曲的结果。

Elyvie 把 Z-Image 分成兩条路徑：

• 免费公开生成器使用 Tongyi-MAI/Z-Image-Turbo，适合快速探索提示词；
• 受控角色训练流程使用未蒸餾的 Tongyi-MAI/Z-Image 基礎版。

这是刻意区分。Z-Image 官方 model card把基礎版列為适合 LoRA 训练，Turbo 則列為不可 fine-tune。基礎版也支援 CFG、negative prompt 与 28–50 steps 的推理路徑；Turbo 的重点是速度。

不要先训练，再决定正式环境用哪个模型。收集图片前就要记录确切 base model、revision、训练工具、adapter 格式与推理 loader。

為什么开源、开放权重图片模型是 Elyvie 的必要条件

封闭图片 API 很适合回答「这段提示词能不能做出好看的图？」但 Elyvie 面对的是更难的问題：「当模型、场景、服装与产品功能持续改变时，这个虛构人物能不能幾个月后仍是同一个角色？」

这需要同时控制四种资产：

1. 定義視觉先验的 base model；
2. 保存已学习身份的 LoRA adapter；
3. Loader、scheduler、steps、CFG、seed、尺寸、negative prompt 与 adapter weight 组成的推理配方；
4. Dataset manifest、captions、checkpoints 与 validation renders 组成的证据。

封闭 API 背后的模型可能在同一个名称下更新，也可能移除参数、改变 adapter 格式或停止 fine-tuning。即使这些更新都合理，角色仍可能換脸，而且你未必能拿回旧 checkpoint 重现过去结果。

开放权重會改变产品的控制边界：

Z-Image 官方 repository与 model card 都以 Apache 2.0 发布；对这套流程更重要的是，未蒸餾基礎版明确支援 fine-tuning，而 Turbo 不支援。License、可下载权重与可训练架构是三个不同检查，不能用「open source」一句话跳过。

所以我把开放权重視為 Elyvie 长期角色层的必要条件，不是所有图片原型的普遍規則。Mood board 或单次图片，用封闭 API 可能更快；当身份成為长期产品资料，我需要固定、训练、检查、搬移与重现完整 stack 的能力。

开放权重也不代表可以省略安全。责任會更直接落到营运者身上，因此 Elyvie 仍然需要图片权利、虛构成年人界线、权限控制、私人储存、刪除与濫用防护。

2. 写一页身份设定表

永久不变的部分要短：

• 虛构成年年龄范圍；
• 脸型与肤色；
• 眼睛顏色与形狀；
• 发色、长度、质地与标志性发型；
• 兩个辨识特徵；
• 基礎身形描述；
• 一个标志性配件或顏色；
• 三个會影响表情与姿态的个性词。

范例：

Fictional adult woman, age 28, heart-shaped face, warm olive skin, amber almond-shaped eyes, silver jaw-length bob with blunt fringe, one small beauty mark beneath the left eye, translucent raincoat, observant, composed, quietly defiant.

把內容分成三层：

如果把地点与光线混进身份区块，模型可能学成「这个人永远站在这个房间」，而不是学會这个人。

3. 先用纯提示词证明身份方向

一个可靠的顺序是：

1. 媒介与镜头类型；
2. 身份区块；
3. 服装变化；
4. 动作与表情；
5. 场景；
6. 光线与镜头；
7. 品质与输出限制。

正式建立资料集前，先用乾淨光线生成正面、左四分之三与右四分之三三张中性人像。检查：

• 眼睛顏色与距离；
• 头发轮廓；
• 脸型；
• 标志性细节；
• 視觉年龄。

如果中性图片都不稳定，电影场景不會自动修好它。先修改身份区块，再增加复杂度。

固定 seed 只适合比較兩个提示词版本。提示词、模型、sampler、尺寸或 LoRA 大幅改变后，它不能保证身份不变。

4. 选身份錨点，不是只挑最好看的照片

身份錨点的工作，是清楚说明角色是谁。好的錨点应该具备：

• 画面中只有一位清楚可见的虛构成年人；
• 眼睛銳利，脸部幾何沒有遮擋；
• 肤质自然，沒有重度美顏濾镜；
• 視觉年龄、发线、眼色与辨识特徵一致；
• 角度与表情有足够差異，能表现立体身份。

排除动态模糊、极端镜头变形、眼睛被擋住、多张脸、互相矛盾的发线或年龄，以及幾乎相同的裁切。

Elyvie 目前的受控流程从 4–5 张身份錨点开始，再从中确切选四张作為资料集生成参考。这足以确立身份方向，但它还不是最终训练集。

5. 建立真正教會「变化」的资料集

训练集必须同时回答兩个问題：

1. 哪些东西必须保持不变？
2. 哪些东西应该可以改变？

二十张近距离自拍只回答第一題。这种 LoRA 可能只會一个脸部角度，到了全身、动作、普通光线或新衣服就失效。

Elyvie 使用一套 20 场景资料集模板：

场景會改变室內外地点、表情、镜头角度、日光、实景灯光、衣著与动作，刻意避免二十张相同棚拍。

每张候选图都要通过：

• 恰好一张脸；
• 身份分数至少 75/100；
• 真实感分数至少 70/100；
• 安全審查通过；
• 不得和已接受图片完全重复。

目前每个场景最多允许三次候选尝试，正式训练前必须有至少 15 张合格图片，上限 20 张。这些分数是 Elyvie 的实作 gate，不是适用所有模型的科学常数。真正通用的原則是：不要让错误证据进入 trainer。

6. Caption 要描述变化，trigger word 必须唯一

Caption 范例：

cylara_elyvie, fictional adult woman, waist-up, beige linen shirt, seated at an outdoor cafe, soft late-afternoon daylight, warm candid smile

Token 要独特、可输入，不要只用 woman、hero 或 Anna 这类常见词。

服装、构图、动作、表情与场景都应写进 caption，因為这些是未来要控制的变数。不要把暫时属性重复写成固定身份；如果每张 caption 都有 red dress，adapter 很可能把紅裙和人物綁在一起。

Elyvie 會以 character_slug_elyvie 形式建立稳定 trigger，並和 LoRA ID、base model 身份与训练 manifest 一起保存。

实例：把月面观测站图片变成可重复使用的角色

文章封面的太空人很适合示范。第一张图已经有清楚概念：成年天文学家、午夜藍长发、米白与珊瑚色飞行外套、圓形月面观测站。但它还不是可重复使用的角色，只是一张成功构图。

假设我把她升级成 Elyvie 长期角色 Mira，我不會直接拿封面训练，而會先写：

mira_observatory_elyvie, fictional adult woman, age 26, oval face, large violet almond-shaped eyes, straight midnight-blue hair below the chest with a soft side fringe, small straight nose, cream flight jacket with coral hardware, curious, measured, quietly brave.

飞行外套是可控制的标志服装，不是永久身体特徵；观测站是镜头资讯，不是身份。

A：建立四张身份錨点

如果某张錨点出现不同眼色、較短头发、明显更幼的脸，或其他三张沒有的重度动漫变形，我會排除。四张彼此同意的錨点，比八张互相矛盾的图片有用。

B：刻意打破原始构图

训练场景要证明 Mira 不是「圓形观测窗里的女人」。我會加入：

• 普通窗光下的特写，穿深色圓领上衣；
• 书店半身镜头，穿针织外套並微笑；
• 海边全身镜头，穿实用外套迎风走路；
• 霓虹混合光线下的夜市环境镜头；
• 只保留一张观测站场景，延续原始故事世界但不支配资料集。

这就是身份训练和重建同一张图的差別。十九张观测站加一张咖啡店，只會教會模型那个房间。

C：Caption 要写变数

范例：

mira_observatory_elyvie, fictional adult woman, close portrait, dark crew-neck top, public library, soft overhead and window light, attentive expression

mira_observatory_elyvie, fictional adult woman, full-body walking pose, light windbreaker, seaside promenade, bright cloudy daylight, subtle smile

mira_observatory_elyvie, fictional adult woman, environmental frame, cream flight jacket with coral details, circular lunar observatory, cool practical light, curious expression

Trigger 保持不变；构图、服装、地点、光线与表情持续改变。这样 adapter 才知道哪些要保留，哪些应繼续交给提示词控制。

D：用资料集沒出现过的提示词验收

我會保留以下测试，不放进训练集：

1. Mira 穿黑色晚宴西装，在暖色餐厅光线下大笑；
2. Mira 穿紅色雨衣，以全身镜头穿越白天街道；
3. Mira 在日落沙漠广角画面里只佔很小比例；
4. Mira 回到原始观测站，表情担心，但不穿飞行外套。

如果只有第四題成功，LoRA 学到的观测站概念比身份更强；如果特写通过、第三題失敗，资料集缺少尺度变化；如果晚宴西装仍变成飞行外套，服装綁得太死。

E：选擇最弱但合格的 adapter weight

以下是示范决策纪录，不是通用 benchmark：

我會啟用 0.70。最高身份分数反而落选，因為正式角色还要能演戏、換衣服並适应不同镜头。LoRA 是身份约束，不是命令每张图都像训练资料。

7. 看懂训练控制項

不同 trainer 与模型的实际 flag 不一样，但任何可重现的训练纪录都应回答：

不存在「1,500 steps 永远最好」这种诚实的通用答案。资料量、rank、target modules、caption 品质、解析度与模型架构會互相影响。应保存 checkpoints，再用固定 validation suite 比較。

如果模型受到 Hugging Face 支援，Diffusers training overview提供持续维护的 text-to-image 与 DreamBooth LoRA scripts。不要假设 SD 1.5 或 SDXL 的指令可以原封不动用在 Z-Image。

8. 啟用前一定要验收

不要因為一张特写好看就批准 LoRA。建立固定矩阵：

比較 LoRA weights 时要使用相同 prompt 与 seed，让 weight 成為主要变数。

Elyvie 目前會以 0.65、0.70、0.75、0.80 四种 LoRA weight 建立受控 A/B 图组，每张使用同一组提示词与 seed，再比較身份与真实感。当分数接近时，較低但合格的 weight 优先，因為它通常能保留更多基礎模型弹性。

正确 weight 不一定是 1.0。某个角色可能是 0.65，另一个可能要 0.80。要测试，不要猜。

9. 从失敗型态找原因

每次只改一个变数。一次同时重做资料集、改提示词、換 base model、提高 weight，會失去所有判断依据。

10. Elyvie 自动处理什么，又不处理什么

免註冊的免费 AI 图像生成器只做纯提示词探索，不會上传参考图，也不會训练 LoRA。

Elyvie 的受控角色流程會自动处理：

1. 虛构成年人与图片权利检查；
2. 选擇 4–5 张身份錨点；
3. 建立 20 个多样场景候选；
4. 身份、真实感、重复与安全審查；
5. 15–20 张合格图片的训练 manifest；
6. Z-Image 基礎版训练；
7. Validation render；
8. 啟用前的四档 weight A/B。

目前只接受虛构角色训练集，不接受未经批准的真人复制。训练入口和免费公开预览是兩套不同流程。

11. 我如何租 GPU，又不让出租机器成為唯一真相

我不需要拥有高阶 GPU，才能拥有角色 pipeline。我把租来的 GPU 当成可替換算力，把真正长期的 control plane 留在 Elyvie。

边界是：

Elyvie app → authenticated worker API → 固定版 Z-Image Base + 选定 LoRA → 私人结果储存

Web app 管理角色纪录、权限、job state 与最终媒体；GPU worker 处理 CUDA、模型载入、训练与推理。更換出租机器时，公开应用 contract 不需要一起改。

怎么选出租机器

Elyvie 目前的 Z-Image Base 与 LoRA 路徑會选 32 GB 等级 GPU，不會只看 GPU 型号。租用前要检查：

• 对正式或敏感工作优先选 Verified 或 Secure Cloud；
• reliability 纪录与最大租期；
• VRAM 是否能跑真正 trainer，而不只是推理；
• 磁碟是否放得下模型、套件 cache、dataset、checkpoints 与暫存档；
• 上下行频寬的价格，不只是 Mbps；
• SSH 与 authenticated worker 所需 ports；
• App 到 worker 的地理延迟是否合理。

Vast.ai 选机文件把 reliability 定義為历史 uptime 与 health，也會显示最大租期以及 GPU、storage、bandwidth 的个別价格。Verified 是有用证据，不是保证，我仍然會跑 admission test。

Vast container storage 建立后不能放大，因此磁碟要先算。我會估算完整 staged footprint，再保留约 2 倍 headroom。如果模型、cache、trainer、dataset 与 checkpoints 可能用掉 90 GB，100 GB 磁碟不是安全的 90 GB 磁碟。

前十分钟就是 admission test

我不會先花一小时 debug，再决定机器是否合格。最低限度 preflight：

nvidia-smi
df -h /workspace
curl -fsS "$WORKER_URL/health"
curl -fsS -H "Authorization: Bearer $API_TOKEN" "$WORKER_URL/v1/loras"
curl -fsS -H "Authorization: Bearer $API_TOKEN" "$WORKER_URL/v1/training-jobs"

接著必须证明：

1. 预期 GPU 与 VRAM 可见；
2. 固定版 base model 显示 ready；
3. LoRA catalog 与 training endpoints 存在，而不是 HTTP 404；
4. 一张普通 base-model 图片成功；
5. 一个已知 adapter 能载入並产生真实图片；
6. Adapter filename、checksum、model ID 与生成图片已记录。

「Container running」不等於「worker 真的能训练」。我验证的是应用能力，不是 marketplace 狀态。

算完整一次 run，不只看每小时贴纸价

Vast 是 marketplace，价格會变动。官方 pricing 文件说明帐单包含 compute、storage 与 bandwidth；compute 依实际使用计费，instance 存在期间 storage 仍持续收费。

公式：

预估 run 成本 = GPU 时薪 × 运行小时 + storage + bandwidth

假设某个 offer 是 每小时 $0.35：

Compute 约為 $0.76，还沒加 storage 与 bandwidth：2.17 × $0.35。如果 debug 拖到四小时，compute 就是 $1.40。真正洞察是：GPU 本身可能很便宜，混亂的营运流程才昂貴；吃掉兩小时注意力的廉价不稳定 host 並不便宜。

Stop、备份，再 destroy

Vast 的 stop 會保留 container data，但 storage 繼续计费；destroy 會永久移除 container storage。Storage 文件也说明 volume 能在 instance 刪除后保留，但綁定同一台实体 host。Local volume 是方便的 persistence，不是 off-site backup。

Destroy 前我會匯出：

• 最终 .safetensors adapter 与 SHA-256 checksum；
• Dataset manifest 与每张合格图片 hash；
• Captions 与 trigger word；
• 确切 base-model ID 与 revision；
• Trainer config、套件版本与选中的 checkpoint；
• Validation prompts、seeds、score sheet 与范例输出。

这些资料要复制到出租 host 以外的 storage。Vast 支援 Cloud Sync 与其他 data movement 方法，但真正通用的規則是：在另一台机器能重建以前，这个角色还沒有安全存在。

对敏感资料，只给最小权限与最小资料范圍。Vast 的 instance security 说明指出 community host 技术上可能存取机器內档案；verified datacenter、加密、private object storage 与虛构训练资料可以降低暴露。

12. 保存可重现的角色纪录

记录：

• 身份设定表版本；
• 确切 base model 与 revision；
• 训练工具与 configuration；
• 合格资料集 manifest 与 captions；
• LoRA ID、adapter 档名、trigger word 与啟用 weight；
• 图片权利与虛构来源声明；
• 固定 validation prompts 与 seeds；
• Checkpoint 比較、失敗纪录与啟用决定。

资料集与 adapter 不要只留在临时 GPU 磁碟。出租机器可能消失；真正能让你重建角色的是模型档、manifest、captions 与 configuration。

一套完整起步流程

1. 写身份设定表。
2. 生成三张中性人像。
3. 证明纯提示词身份值得繼续。
4. 选 4–5 张乾淨、不重复的身份錨点。
5. 建立 15–20 张多样、有 caption 的训练图。
6. 租一台 VRAM、磁碟 headroom、租期与 bandwidth 价格都合格的 verified GPU。
7. Health、LoRA catalog、training、base render 与 adapter canary 任一不通过就拒絕该 rental。
8. 针对正式环境的确切 base model 训练。
9. 用固定 validation suite 比較 checkpoints。
10. 使用相同 prompt 与 seed A/B 测试不同 weights。
11. 身份与弹性都通过后才啟用。
12. Destroy 前备份 adapter、manifest、captions、configuration、checksums 与 validation evidence。

常见问題

角色 LoRA 需要多少张图片？

取决於模型与资料品质。Elyvie 从 4–5 张身份錨点开始，建立 20 张多样候选，並要求至少 15 张通过品质检查才开始训练。十五张多样、清楚的图片，比五十张近乎重复的图片更有用。

LoRA 可以套用在任何图片模型吗？

不可以。LoRA 依赖训练时的模型架构与 base checkpoint。开始前要核对确切模型家族与 loader。

固定 seed 足以保持角色一致吗？

不足。Seed 适合受控比較，但提示词、模型、尺寸、sampler 或 adapter 改变后，身份仍然可能变化。

LoRA weight 应该设多少？

用相同 prompt 与 seed 测试多个 weights。Elyvie 目前比較 0.65、0.70、0.75 与 0.80，再选出通过身份与真实感检查的最低有效 weight。

Elyvie 免费图片生成器會训练 LoRA 吗？

不會。免费公开生成器是纯提示词探索工具；LoRA 训练属於另一套受控的虛构角色流程。

我需要自己买 GPU 才能训练角色 LoRA 吗？

不需要。只要 worker 可重建，而且 dataset、adapter、configuration 与 validation evidence 都备份在出租机器之外，租用 GPU 就足够。把机器当成可替換算力。

為什么不只使用封闭图片 API？

封闭 API 很适合早期探索。Elyvie 对长期角色使用开放权重，是因為需要固定 base revision、训练与载入自己的 adapters、控制推理参数、更換 GPU 供应商，以及重现旧角色版本。

以上流程在 2026 年 7 月 30 日依照 Elyvie 实际 implementation 与 Z-Image、Vast.ai 官方文件核对。

先到 Elyvie 免费 AI 角色生成器测试你的身份提示词 →