<aside> 💡 주요 링크들 https://github.com/TencentARC/MasaCtrl https://github.com/TencentARC/MasaCtrl/issues/41

</aside>

목적

프람트로 img2img 컨트롤 하기

훈련 없이 기존 SD 활용만 함

아키

이렇게 생김

상세

1 Mutual self attention

2 Mask guided ⇒ 얘가 중요 !!

3 우리꺼 쉽게 통합할 수 있다.

실험

• 베이스모델: SD 1. 4 이랑 Anything-V4.

• 하이퍼파람

  50 denoising steps, and the classifier free guidance is set to 7.5. The step and layer to start atten tion control is set to S = 4, L = 10 a

• 결과

  • 결과 1 - 기존 tuning-free 랑 비교 - 가장 자연스럽다고 주장
  • 결과 2 - T2I Adapter랑 같이 써서 레이아웃도 반영
  • 결과 3 - Anything v4 에서도 잘됨
  • 결과 4 - 비디오 합성에서는 오브젝트는 제법 되는데, 배경은 다이나믹이 떨어짐.
  • 결과 5 - 하이퍼파라미터 관련

상세

결과 1 - 기존 tuning-free 랑 비교 - 가장 자연스럽다고 주장

하고 있지만 이건 다른 샘플 많이 돌려봐야 할듯