<aside> 💡 시그그래프 2024 7월 프로젝트 페이지: ConsiStory (consistory-paper.github.io)

</aside>

<aside> 💡 정식 코드는 아직 공개 안됐고, 이거 있음 https://github.com/kousw/experimental-consistory

</aside>

목적

• 서브젝트가 일관적으로 등장하는 a set of images를 만드는 것
• 즉, N:N 으로 생성되는거임
  • Input: array of prompts → 프람트 N개
  • Output: a set of images with consistent subject → 이미지 N개
• img2img 하려고 읽은건데 txt2img 였음.. ㅋㅋㅋ

방법

1. subject driven self attention (SDSA)
2. layout diversity
3. feature injection
4. anchor images
5. multi-subects

1 subject driven self attention (SDSA)

• 이건 완전히 MasaCtrl 따라했는데… 뭐가 다른건지 모르겟넹. 이름도 바꿔버리고.. 이래도 되는건가…라고 생각했다. 그러나…

• ⇒ 다른점? 바로 subject-driven across the batch

  • 1) subject-driven
    • 원래 self-attention이라 하면 자기가 자기를 attention 해야 하는게 아니겠음?
    • ‘자기’의 기준을 하나의 이미지에서 하나의 subject 단위로 확장했다.
      • 여러개의 이미지를 attention 할 건데, 서브젝트 기준으로 보면 ‘self’어텐션이라는 거
  • 2) across the batch
    • N개 프람트를 한번에 다룸 → ‘batch’

• 한 배치에 대해서 어텐션 요렇게 계산됨

  • 이 식만 이해하면 됨.

  

  • K+, V+: N개 프람트에 대해 돌려서 중간 키, 밸류 결과 다 얻어서 컨캣 → SD N개를 한번에 돌리는 거임
    • N: 프람트 개수
    • P: 프람트 맥스 길이
    • dk, dv: 디멘션
  • Qi: 쿼리는 컨캣 안함. i-th 프람트에 따라 올라온거만 씀
  • Mi+: i-th 프람트에 대해서 마스크 생성
    • 마사컨트롤 방법으로 생성함
    • 자기 스스로한테는 마스크 생성 안 함
    • 참고: img2img 공부 - MasaCtrl - 텐센트
  • Ai+: 마스크 걸어서 어텐션 계산
    • Mi+: 1 or 0
      • 서브젝트에 대해서 → 1
      • 무시하고 싶은거에 대해서 → 0
    • → logMi+: 0 or -무한대
      • 서브젝트에 대해서 → 0
      • 무시하고 싶은거에 대해서 → -무한대
    • → 여기에다 원래 어텐션 값 더해서 소프트맥스 하는 거임
      • → 0일 경우에는, 원래 어텐션에 영향이 없고
      • → -무한대이면, 어텐션이 얼마나 높든지 -무한대 되겠지요
    • → 여기에다 소프트맥스 걸면
      • → 서브젝트에 대해서, softmax(어텐션 값) = 원래 계산되던 대로 그대로
      • → 무시하고 싶은거에 대해서, softmax(-무한대) = 0
    • 참고: 마스크를 처리하는 방식이 특이하다고 생각각했는데, 이게 ‘standard’ 어텐션 마스킹이라고 함 ㅎㅎ

2 layout diversity