PRCV2023 - AIGC Tutorial

PRCV2023 AIGC Tutorial

1
GAP-Lab
香港中文大学 韩晓光
PaSS讲座

三维生成

• SweetDreamer

难点：

• 视频连续性
• 三维生成

怎么跟热点

• 垂直领域：人脸、人体、衣服
  • 针对domain提出特定的算法，不能是general的
• 推广：图像到视频、二维到三维
  • 例如：nerf（possion nerf blending)
  • 需要广泛涉猎，想到比做到难
• 硬卷
  • 关键：找到问题、找到本质问题！！
  • 例：SD缺少同一场景多视角分布/几何与材质解耦/缺少数据

怎么不用跟着卷

• 挖坑：衣服、卡通（有没有人follow、资金）

• 想本质问题：MVImgNet（三维ImageNet数据集）

• SD finetune
• SD loss
• SD 生成数据

2

ARC Tencent

精细控制

• T2I-Adapter
• CoAdapter：组合控制
• MasaCtrl：更一致的生成与编辑
  • Unet Decoder

交互方式

• 使用LLM生成指令：LLMDiffusion