Stable Diffusion ํ๋กฌํํธ ์์ฑ๊ธฐ
๋ฌด๋ฃ Stable Diffusion ํ๋กฌํํธ ์์ฑ๊ธฐ.
ํ๋ฒํ ์์ด๋์ด์์ ๊ฐ์ค์น๊ฐ ์ ์ฉ๋ SD ๋ฌธ๋ฒ์ผ๋ก
๋ณด๊ณ ์ถ์ ๊ฒ์ ์ค๋ช ํ๋ฉด ์ด Stable Diffusion ํ๋กฌํํธ ์์ฑ๊ธฐ๊ฐ ์์ง๋์ด๋ง์ ๋๋งก์ต๋๋ค. ์์๊ฐ ์ ๋ ฌ๋ ํ๊ทธ, (keyword:1.2) ๊ฐ์กฐ ๊ฐ์ค์น, ๊ทธ๋ฆฌ๊ณ ๊ฐ์ค์น๊ฐ ์ ์ฉ๋ ํ์ง ํ๋ฆฌํฝ์ค๋ฅผ ๋ชจ๋ ๋ธ๋ผ์ฐ์ ์์ ๋จ ๋ช ์ด ๋ง์ ๋ง๋ค์ด ๋ ๋๋ค.
์์ด๋์ด๋ฅผ ์ ๋ ฅํ์ธ์
'๋น ๋ด๋ฆฌ๋ ์ฌ์ด๋ฒํํฌ ๊ณจ๋ชฉ'๋ถํฐ ์๊ฒฐ๋ ์ฅ๋ฉด ๋ธ๋ฆฌํ๊น์ง, ์ฌ์ด ๋ง๋ก ๋ ์ฝ์ ํธ๋ฅผ ์ ๋ ฅํ์ธ์. ๋ชจ๊ตญ์ด๋ก ์จ๋ ์ต์ ํ๋ ์์ด ์ถ๋ ฅ์ ๋ฐ์ ์ ์์ต๋๋ค.
๋งค์ง ์ธํธ์ค๊ฐ ๋ฌธ๋ฒ์ ๊ตฌ์ฑํฉ๋๋ค
ํด๋ฆญ ํ ๋ฒ์ด๋ฉด ๋น์ ์ ์์ด๋์ด๋ฅผ SD์ ์นํ์ ์ธ ํ ํฐ ์์๋ก ์ฌ๊ตฌ์ฑํ๊ณ , (masterpiece, best quality, highly detailed:1.2) ๊ฐ์ ๊ฐ์ค์น ํ์ง ๋ธ๋ก์ผ๋ก ์์ํ๋ฉฐ, ์ฅ๋ฉด์ ๊ท์ ํ๋ ์์๋ค์ ๊ฐ์กฐ ๊ฐ์ค์น๋ฅผ ์ ์ฉํฉ๋๋ค.
SD ์ธํฐํ์ด์ค์ ๋ณต์ฌํ์ธ์
๊ฒฐ๊ณผ๋ฅผ AUTOMATIC1111, ComfyUI, Forge์ ๊ทธ๋๋ก ๋ถ์ฌ๋ฃ์ผ์ธ์. ์์ ์ด ํ์ํ๊ฐ์? Edit ๋ชจ๋๋ก ์ ํํด ํ๊ทธ๋ฅผ ์์ผ๋ก ๋ค์ ์ฐ๋ ๋์ ์ฌ์ด ์ง์๋ง์ผ๋ก ํ๋กฌํํธ๋ฅผ ์กฐ์ ํ์ธ์.
๋ชจ๋ธ์ ์ธ์ํ๋ ํ๋กฌํํธ ์์ง๋์ด๋ง์ด Stable Diffusion์ ์๋ฏธํ๋ ๊ฒ
Stable Diffusion์ ํ๋กฌํํธ๋ฅผ ํ ํฐ ์ํ์ค๋ก ์ฝ์ผ๋ฉฐ, ๋ชจ๋ ํ ํฐ์ ๋๋ ธ์ด์ง ๊ณผ์ ์์ ์ฃผ์๋ฅผ ๋๊ณ ๊ฒฝ์ํฉ๋๋ค. ํ๋ฒํ ํ ์คํธ ์์์ 'detailed castle, dramatic lighting'์ด๋ผ๊ณ ์ ๋ ฅํ๋ฉด ์ํ๋ฌ๋ ๋ ๊ตฌ์ ์ ๋๋ฑํ๊ฒ ์ทจ๊ธํฉ๋๋ค. ์ ํฌ Stable Diffusion ํ๋กฌํํธ ์์ฑ๊ธฐ๋ ๋น์ ์ ์์ด๋์ด๋ฅผ ๊ฐ์ค์น๊ฐ ์ ์ฉ๋ ๋ฌธ๋ฒ์ผ๋ก ์ฌ๊ตฌ์ฑํด (dramatic lighting:1.2)์ฒ๋ผ ๊ฐ์กฐ๋ฅผ ์ ์ฉํ๋ฏ๋ก, ๋น์ ์ด ์ค์ํ๋ ๋ถ๋ถ์ด ์ค์ ๋ก ๋ํจ์ ๊ณผ์ ์ ์ด๋๋๋ค. ๋ํ SD ์ฒดํฌํฌ์ธํธ๊ฐ ํ์ต๋ ๋ฐฉ์๋๋ก ํผ์ฌ์ฒด์์ ์คํ์ผ ์์ผ๋ก ํ๊ทธ๋ฅผ ์ ๋ ฌํด, ๊ฐ์ฅ ์ค์ํ ํ ํฐ์ ์์ชฝ์ ๋ฐฐ์นํ๊ณ ์ฃผ์๋ฅผ ํฌ์ํ๋ ๊ตฐ๋๋๊ธฐ ๋จ์ด๋ฅผ ๊ฑท์ด๋ ๋๋ค.
์ฒดํฌํฌ์ธํธ๋ง๋ค ๋ค๋ฅธ ๋ฐฉ์ธ์ ๋ค๋ฃจ๋๋ผ ์จ๋ฆํ๋ ๋์ , ์ด ์์ฑ๊ธฐ๋ SD 1.5, SDXL, Booru๋ก ํ์ต๋ ์ ๋๋ฉ์ด์ ๋ชจ๋ธ์ด ๋ชจ๋ ์์ ์ ์ผ๋ก ํด์ํ๋ ๊ฒ์ฆ๋ ๊ตฌ์กฐ ํ๋๋ฅผ ๋ง๋ค์ด ๋ ๋๋ค. ๊ฐ์ค์น๊ฐ ์ ์ฉ๋ ํ์ง ํ๋ฆฌํฝ์ค (masterpiece, best quality, highly detailed:1.2)์ ์ด์ด, ํ ๋ฌธ์ฅ์ง๋ฆฌ ํผ์ฌ์ฒด ์ค๋ช ๊ณผ, ์ฅ๋ฉด์ ์๊ฐ์ ์ธ๋ถ(์กฐ๋ช , ์ง๊ฐ, ๋ถ์๊ธฐ)๋ฅผ ๋ด์๋ด๋ ๊ฐํ๊ฒ ๊ฐ์ค๋ ์ผํ ๊ตฌ๋ถ ๋ฏธ์ ํ๊ทธ ์ด ๊ฐ๊ฐ ๋ค๋ฐ๋ฅด๋ ๊ตฌ์กฐ์ ๋๋ค. ํ์์ด ์คํํ ๋๋ง๋ค ์ผ๊ด๋๊ฒ ์ ์ง๋๋ฏ๋ก, ๊ฐ์ค์น๋ฅผ ์กฐ์ผ ์ง์ , ์คํ์ผ ํ๊ทธ๋ฅผ ๊ต์ฒดํ ์ง์ , ํธ๋ฆฌ๊ฑฐ ๋จ์ด๋ฅผ ๋ฃ์ ์ง์ ์ ์ธ์ ๋ ์ ํํ ์ ์ ์์ต๋๋ค. ์์ด๋์ด๊ฐ ์๋๋ผ ์ฌ์ง์์ ์์ํ๋ค๋ฉด, ์ ํฌ ๋ฆฌ๋ฒ์ค ์ด๋ฏธ์ง ํ๋กฌํํธ ํ์ธ๋๊ฐ ๋จผ์ ์๋ณธ ์ด๋ฏธ์ง์์ ์๊ฐ์ ์ธ๋ถ๋ฅผ ์ถ์ถํฉ๋๋ค.
์์ฑํ๋ ๋ชจ๋ ๊ฒ์ AUTOMATIC1111, ComfyUI, Forge์ ๋ฐ๋ก ๋ณต์ฌํด ๋ถ์ฌ๋ฃ์ ์ ์์ต๋๋ค. ์ธ ์ธํฐํ๋ฆฌํฐ ๋ชจ๋ ๋์ผํ (keyword:weight) ๊ฐ์กฐ ๊ท์น์ ๋ฐ๋ฅด๊ธฐ ๋๋ฌธ์ ๋๋ค. ๊ตฌ์กฐํ๋ ์ถ๋ ฅ์ LoRA ํธ๋ฆฌ๊ฑฐ ๋จ์ด๋ฅผ ์ํ ๊น๋ํ ์ฝ์ ์ง์ ์ ๋จ๊ฒจ๋์ด, ํ ํฐ ์์๋ฅผ ๊นจ๋จ๋ฆฌ์ง ์๊ณ ์ปค์คํ ์คํ์ผ ๋ก๋๋ฅผ ๋ผ์ ๋ฃ์ ์ ์์ต๋๋ค. ๊ทธ๋ฆฌ๊ณ ์ ๊ฐ์ค๋ ํ๋กฌํํธ๋ ๊ฐ์ด๋์ค ์๋ ฅ์ ๋ ํ์๋ก ํ๊ธฐ ๋๋ฌธ์, ์์ด ํ๊ณ ๋๋น๊ฐ ๋ญ๊ฐ์ง ๋งํผ ๊ฐ์ด๋์ค๋ฅผ ๋์ด๋ ๋์ ๋ณดํต 5์์ 8 ์ฌ์ด์ ์ ๋นํ CFG ์ค์ผ์ผ ๊ฐ์ผ๋ก ์คํํ ์ ์์ต๋๋ค. ์์ด๋์ด๋ฅผ ํ ๋ฒ ์ ๋ ฅํ ๋ค์๋, ํ๊ทธ๋ฅผ ๋ค์ ์ฐ๋ ๋์ ์๋๋ฅผ ๋ฐ๊ฟ๊ฐ๋ฉฐ ๋ฐ๋ณตํ๋ ๋ฐ GPU ์๊ฐ์ ์ฐ์ธ์.
- ์๋ (keyword:1.2) ๊ฐ์กฐ ๊ฐ์ค์น
- ๋ชจ๋ ํ๋กฌํํธ์ ๊ฐ์ค์น ํ์ง ํ๋ฆฌํฝ์ค
- ์ ๋๋ฉ์ด์ ์ฒดํฌํฌ์ธํธ์ฉ Booru ํ๊ทธ ์คํ
- AUTOMATIC1111, ComfyUI, Forge์ ๋ฐ๋ก ๋ถ์ฌ๋ฃ๊ธฐ ๊ฐ๋ฅ
๊ฐ์ค์น ์ ์ฉ SD ํ๋กฌํํธ๋ก ๋์๊ฐ๋ ์ฌ์ฏ ๊ฐ์ง ์ํฌํ๋ก
์ฒดํฌํฌ์ธํธ๋ฅผ ๋ง์ง์๊ฑฐ๋ฆฌ๋ ์ฌ๋๋ถํฐ ํ๋ก๋์ ํ๊น์ง, ๋งค์ผ ์ ๋ ฅํ ์์ด๋์ด๋ฅผ ๊ฐ์ค์น๊ฐ ์ ์ฉ๋ Stable Diffusion ๋ฌธ๋ฒ์ผ๋ก ๋ฐ๊พธ๋ ์ด๋ค์ ์๊ฐํฉ๋๋ค.
์ ๋๋ฉ์ด์ ์ํฐ์คํธ
์ ๋๋ฉ์ด์ ์ฒดํฌํฌ์ธํธ์ ๋ง์ถฐ ์กฐ์จ๋ Booru ์คํ์ผ ํ๊ทธ ์คํ์, ์ ๋ช ํ๊ณ ์ผ๊ด๋ ๋ํ ์ผ๋ก ๋ ๋๋ง์ ์ด๋๋ ๊ฐ์ค์น ํ์ง ํ๋ฆฌํฝ์ค์ ํจ๊ป ์์ฑํ์ธ์.
์ฝ์ ํธ ์ํฐ์คํธ
ํ ์ค ๋ธ๋ฆฌํ๋ฅผ ๊ฐ์ค์น๊ฐ ์ ์ฉ๋ SDXL ํ๋กฌํํธ๋ก ๋ฐ๊พผ ๋ค์, ๋ ๋๋งํ ๋๋ง๋ค ํ๊ทธ๋ฅผ ๋ค์ ์ฐ๋ ๋์ ์๋๋ฅผ ๋ฐ๊ฟ๊ฐ๋ฉฐ ๋ฐ๋ณตํ์ธ์.
ComfyUI ๋ ธ๋ ๋น๋
๋ณต์กํ ์ํฌํ๋ก ๊ทธ๋ํ ์ ๋ฐ์์ ๊ฐ์กฐ ๊ฐ์ค์น๋ฅผ ์ผ์ผ์ด ์์ผ๋ก ์กฐ์จํ์ง ์๊ณ , ๊ตฌ์กฐํ๋๊ณ ๋ฏธ๋ฆฌ ๊ฐ์ค๋ ํ๋กฌํํธ ํ ์คํธ๋ฅผ CLIP Text Encode ๋ ธ๋์ ๋ฃ์ผ์ธ์.
๊ฒ์ ์ ์ ์ ์์
์คํ๋ผ์ดํธ, ํ๊ฒฝ, ์บ๋ฆญํฐ ์ํธ๋ฅผ ์ํ ์ผ๊ด๋ ํ๋กฌํํธ ํ ํ๋ฆฟ์ ๋ง๋ค์ด, ๊ฐ์ค์น ์คํ์ผ ๋ธ๋ก์ด ๊ณ ์ ๋ ์ฑ๋ก ํผ์ฌ์ฒด๋ง ๋ฐ๊ฟ ๋ณด์ธ์.
LoRA ํธ๋ ์ด๋
์ปค์คํ LoRA ๋ชจ๋ธ์ ์ํ ์ผ๊ด๋๊ฒ ์ ๋ ฌ๋ ํ ์คํธ ํ๋กฌํํธ๋ฅผ ์์ฑํ๊ณ , ํธ๋ฆฌ๊ฑฐ ๋จ์ด๋ฅผ ๊ธฐ๋ณธ ํผ์ฌ์ฒด ๋ฐ ์คํ์ผ ํ๊ทธ์ ๊น๋ํ๊ฒ ๋ถ๋ฆฌํด ๋์ธ์.
SD ์ ๋ฌธ์
๋ช ๋ฌ๊ฐ์ ์ํ์ฐฉ์ค๋ฅผ ๊ฑด๋๋ฐ์ธ์. ์์ฑ๋ ์ถ๋ ฅ ํ๋ํ๋๋ฅผ ์ดํด๋ณด๋ฉฐ ์๋ จ๋ ํ๋กฌํํฐ๊ฐ ํ ํฐ์ ๊ฐ์ค์น๋ฅผ ์ฃผ๊ณ ํ๊ทธ ์คํ์ ์ ๋ ฌํ๋ ๋ฐฉ์์ ์ตํ์ธ์.
์ ๋ ฅํ ์์ด๋์ด vs. ์์ผ๋ก ์ง ํ๊ทธ ์คํ
Stable Diffusion์์๋ ํ๋กฌํํธ ํ์ง์ด ๋ ๋๋ง ํ์ง์ ๊ฒฐ์ ํฉ๋๋ค. ๋ชฉ์ ์ ๋ง๊ฒ ๋ง๋ค์ด์ง Stable Diffusion ํ๋กฌํํธ ์์ฑ๊ธฐ๊ฐ ์ง์ ํ๊ทธ๋ฅผ ์ฐ๊ฑฐ๋ ๋ชจ๋ธ๊ณผ ๋ฌด๊ดํ ๋ฒ์ฉ ํ๋กฌํํธ ๋๊ตฌ๋ฅผ ์ฐ๋ ๊ฒ๊ณผ ์ด๋ป๊ฒ ๋น๊ต๋๋์ง ์ดํด๋ณด์ธ์.
| ํน์ง | ImaginPrompt | ์๋ ํ๊ทธ ์์ฑ | ๋ฒ์ฉ ํ๋กฌํํธ ๋๊ตฌ |
|---|---|---|---|
| ํ ํฐ ๊ฐ์ค์น ๋ฌธ๋ฒ | โ (keyword:1.2) ๊ฐ์กฐ๋ฅผ ์๋์ผ๋ก ์ ์ฉ | โ ๏ธ ์์ผ๋ก ํ๋ ์ํ์ฐฉ์ค์ ์กฐ์ | โ ๋๊ฐ ํ๋ฒํ ํ ์คํธ๋ฟ |
| ํ์ง ํ๊ทธ ํ๋ฆฌํฝ์ค | โ ๋ชจ๋ ํ๋กฌํํธ๋ฅผ (masterpiece, best quality:1.2)๋ก ์์ | โ ๏ธ ์์ ๋์ค ๋น ๋จ๋ฆฌ๊ธฐ ์ฌ์ | โ SD ํ์ง ํ๊ทธ๊ฐ ์ ํ ์์ |
| ์ผ๊ด๋ ํ๋กฌํํธ ๊ตฌ์กฐ | โ ์คํํ ๋๋ง๋ค ๋์ผํ ๊ฐ์ค์น ํ๊ทธ ์คํ | โ ๏ธ ์ธ์ ๋ง๋ค ๊ตฌ์กฐ๊ฐ ํ๋ค๋ฆผ | โ ์์ ์๋ ์์ ํ์ ํ ์คํธ |
| Booru ํ๊ทธ ๊ท์น | โ ์ ๋๋ฉ์ด์ ์ฒดํฌํฌ์ธํธ์ฉ์ผ๋ก ์ง์ | โ ๏ธ ํ๊ทธ ๋ชฉ๋ก ์๊ธฐ๊ฐ ํ์ | โ ์ฒดํฌํฌ์ธํธ๋ฅผ ์ธ์ํ์ง ๋ชปํจ |
| ์ธ ๋งํ ํ๋กฌํํธ๋น ์์ ์๊ฐ | โ ํ๋ฒํ ์์ด๋์ด์์ ๋ช ์ด | โ ๏ธ ๋ช ๋ถ๊ฐ์ ์์์ ์กฐ์ | โ ๏ธ ๋น ๋ฅด์ง๋ง SD์ฉ ์์ ์ด ํ์ |
| LoRA ํธ๋ฆฌ๊ฑฐ๋ฅผ ์ํ ์ฌ์ | โ ๊น๋ํ ์ฝ์ ์ง์ ์ด ๋ณด์กด๋จ | โ ์์ ํ ์๋ ์ ์ด | โ ๏ธ ํธ๋ฆฌ๊ฑฐ๊ฐ ๊ตฌ์กฐ๋ฅผ ๊นจ๋จ๋ฆด ์ ์์ |
์์ผ๋ก ์ด ํ๊ทธ๋ ์์ ํ ์ ์ด๊ถ์ ์ฃผ์ง๋ง ์๊ฐ๊ณผ ์ ๋ฌธ์ฑ์ ์๊ตฌํ๊ณ , ๋ฒ์ฉ ๋๊ตฌ๋ ์๊ฐ์ ์๊ปด์ฃผ์ง๋ง SD ๋ฌธ๋ฒ์ ๋ฌด์ํฉ๋๋ค. ์ด ์์ฑ๊ธฐ๋ ๋์ ๊ฒฐํฉํฉ๋๋ค. ๊ฐ์ค์น๊ฐ ์ ์ฉ๋๊ณ ์ผ๊ด๋๊ฒ ๊ตฌ์กฐํ๋ ํ๋กฌํํธ๋ฅผ ๋ช ์ด ๋ง์ ์ ๊ณตํ๋ฉด์๋, ๋ชจ๋ ํ ํฐ์ ์ฌ์ ํ ๋น์ ์ด ํธ์งํ ์ ์์ต๋๋ค.
๋ ์ ๋ช ํ Stable Diffusion ๋ ๋๋ง์ ์ํ ๊ธฐ๋ฒ
๐ก ๊ฐ์ค์น๋ฅผ 0.8์์ 1.4 ์ฌ์ด๋ก ์ ์งํ์ธ์
1.5๋ฅผ ๋๋ ๊ฐ์ ๊ตฌ๋๋ฅผ ์๊ณกํ๊ณ ์์ ํ์๋ฒ๋ฆฝ๋๋ค. (keyword:1.4)์์๋ ์ด๋ค ์์๊ฐ ์ฌ์ ํ ๋ํ๋์ง ์๋๋ค๋ฉด, ๊ฐ์ค์น๋ฅผ ๋ ์ฌ๋ฆฌ๋ ๋์ ํํ์ ๋ฐ๊พธ๊ฑฐ๋ ํ๋กฌํํธ์์ ๋ ์์ชฝ์ผ๋ก ์ฎ๊ธฐ์ธ์.
๐ก ํ๊ทธ ์คํ์ ์ฒดํฌํฌ์ธํธ์ ๋ง๊ฒ ์กฐ์ ํ์ธ์
์์ฑ๋ ๊ฐ์ค์น ํ๊ทธ ์คํ์ SD 1.5์ Booru๋ก ํ์ต๋ ์ ๋๋ฉ์ด์ ๋ชจ๋ธ์์ ๊ทธ๋๋ก ์๋ํฉ๋๋ค. ๋ ์์ ํ ๋ฌธ์ฅ๋ ์ฒ๋ฆฌํ๋ SDXL์ ๊ฒฝ์ฐ, Edit ๋ชจ๋๋ก ์ผ๋ถ ํ๊ทธ๋ฅผ ๊ตฌ์ ๋ก ํ์ด์ค ์ ์์ต๋๋ค. ํ์์ด ๋ง์ง ์๋ ๊ฒ์ ํํ๊ณ ๋ธ๋ฆฌํ์์ ๋ฒ์ด๋ ๋ ๋๋ง์ ํํ ์์ธ์ ๋๋ค.
๐ก ๊ฐํ ํ๋กฌํํธ์๋ ์ ๋นํ CFG๋ฅผ ํจ๊ป ์ฐ์ธ์
์ ๊ฐ์ค๋ ํ๋กฌํํธ๋ ๊ฐ์ด๋์ค๋ฅผ ๋ ํ์๋ก ํฉ๋๋ค. SDXL์์๋ CFG 6์์ 7 ์ ๋๋ก ์์ํ์ธ์. ์๊พธ 10์ ๋๊ธฐ๊ณ ์๋ค๋ฉด, ์๋ด์ผ ํ ๊ฒ์ ๋๊ฐ ์ค์ผ์ผ์ด ์๋๋ผ ํ๋กฌํํธ์ ๋๋ค.
๐ก LoRA ํธ๋ฆฌ๊ฑฐ๋ ํผ์ฌ์ฒด ๋ธ๋ก ๋ค์ ๋์ธ์
ํธ๋ฆฌ๊ฑฐ ๋จ์ด๋ฅผ ํผ์ฌ์ฒด ์ค๋ช ๋ฐ๋ก ๋ค, ๊ฐ์ค์น ์คํ์ผ ํ๊ทธ ์์ ์ฝ์ ํ์ธ์. ์ด๋ ๊ฒ ํ๋ฉด ์คํ์์ ๋ค๋ฐ๋ฅด๋ ๋ฏธ์ ํค์๋์ ์ถฉ๋ํ์ง ์์ผ๋ฉด์ LoRA๊ฐ ํผ์ฌ์ฒด๋ฅผ ์ด๋๊ฒ ๋ฉ๋๋ค.
์์ฃผ ๋ฌป๋ ์ง๋ฌธ
(word:1.2) ๊ฐ์ค์น ๋ฌธ๋ฒ์ ์ค์ ๋ก ๋ฌด์จ ์ผ์ ํ๋์?+
๋๋ ธ์ด์ง ๊ณผ์ ์์ ํด๋น ํ ํฐ์ ์ฃผ์ ๊ฐ์ค์น๋ฅผ ๊ณฑํด ๋ชจ๋ธ์ด ๊ทธ๊ฒ์ ์ฐ์ ํ๊ฒ ๋ง๋ญ๋๋ค. 1.2๋ผ๋ ๊ฐ์ 20ํผ์ผํธ ๋ ๊ฐ์กฐํ๊ณ , 0.8์ ์ค์ ๋๋ค. ์ ํฌ ์์ฑ๊ธฐ๋ ์ด ๊ฐ์ค์น๋ฅผ ์ฅ๋ฉด์ ๊ท์ ํ๋ ์์๋ค์ ์๋์ผ๋ก ์ ์ฉํ๋ฏ๋ก, ์์ผ๋ก ์กฐ์ ํ ์ผ์ด ๊ฑฐ์ ์์ต๋๋ค.
์์ฑ๊ธฐ๊ฐ ๋ค๊ฑฐํฐ๋ธ ํ๋กฌํํธ๋ ์์ฑํ๋์?+
์๋์. ๊ฐ ๊ฒฐ๊ณผ๋ ๊ฐ์ค์น ํ์ง ๋ธ๋ก (masterpiece, best quality, highly detailed:1.2)๋ก ์์ํ๋ ์ต์ ํ๋ ํฌ์งํฐ๋ธ ํ๋กฌํํธ ํ๋์ด๋ฉฐ, ์ด ๋ธ๋ก๋ง์ผ๋ก๋ ์ฒดํฌํฌ์ธํธ๊ฐ ๋ง์ ์ ํ์ง ์ถ๋ ฅ์์ ๋ฉ์ด์ง๋๋ก ์ด๋๋๋ค. ์๊ฐ๋ฝ์ด ๋ ์๊ธฐ๊ฑฐ๋ ์ํฐ๋งํฌ ํ ์คํธ๊ฐ ๋์ค๋ ์๊ณ ํ ์ํฐํฉํธ์๋, ์ฌ์ฌ์ฉ ๊ฐ๋ฅํ ๋ค๊ฑฐํฐ๋ธ ๋ชฉ๋ก์ AUTOMATIC1111์ด๋ ComfyUI์ ์ ์ฅํด ๋๊ณ ๋ ๋๋งํ ๋๋ง๋ค ํจ๊ป ์ฐ์ธ์.
ํ๊ทธ ์คํ์ผ ํ๋กฌํํธ๋ฅผ ์จ์ผ ํ๋์, ์๋๋ฉด ์์ฐ์ด ํ๋กฌํํธ๋ฅผ ์จ์ผ ํ๋์?+
ํ๊ทธ ์คํ์ผ์ด ๋ ์์ ํ ๊ธฐ๋ณธ๊ฐ์ ๋๋ค. SD 1.5๊ณผ ๋๋ถ๋ถ์ ์ ๋๋ฉ์ด์ ๋ชจ๋ธ์ ํ๊ทธ ํํ์ ์บก์ ์ผ๋ก ํ์ต๋์๊ณ , SDXL์ ๊ฐ์ค์น๊ฐ ์ ์ฉ๋ ์ผํ ๊ตฌ๋ถ ํ๊ทธ๋ฅผ ์๊ฒฐ๋ ๋ฌธ์ฅ๋งํผ์ด๋ ์์ ์ ์ผ๋ก ํด์ํฉ๋๋ค. ๊ทธ๋์ ์์ฑ๊ธฐ๋ ๋ชจ๋ ์์ฒญ์ ๋ํด ์ผ๊ด๋ ๊ตฌ์กฐ ํ๋๋ฅผ ๋ง๋ค์ด ๋ ๋๋ค. ๊ฐ์ค์น ํ์ง ํ๋ฆฌํฝ์ค, ํ ๋ฌธ์ฅ์ง๋ฆฌ ํผ์ฌ์ฒด ์ค๋ช , ๊ทธ๋ฆฌ๊ณ ๊ฐ์ค์น๊ฐ ์ ์ฉ๋ ๋ฏธ์ ํ๊ทธ ์ด ๊ฐ์ ๋๋ค. SDXL ๋ ๋๋ง์ ๋งค๋๋ฌ์ด ๋ฌธ์ฅ์ ์ ํธํ๋ค๋ฉด, Edit ๋ชจ๋๋ก ํ๊ทธ๋ฅผ ๊ตฌ์ ๋ก ํ์ด์ฃผ์ธ์.
์์ฑ๋ ํ๋กฌํํธ์ LoRA ํธ๋ฆฌ๊ฑฐ ๋จ์ด๋ฅผ ์ถ๊ฐํ ์ ์๋์?+
๋ค. ์ถ๋ ฅ์ด ํ๋ฒํ ํ ์คํธ์ด๋ฏ๋ก, LoRA ๋ฌธ์๊ฐ ๊ถ์ฅํ๋ ์์น, ๋๊ฐ ํผ์ฌ์ฒด ์ค๋ช ๋ฐ๋ก ๋ค ์ด๋์๋ ํธ๋ฆฌ๊ฑฐ ๋จ์ด๋ฅผ ์ฝ์ ํ ์ ์์ต๋๋ค. ์์ฑ๊ธฐ๊ฐ ํผ์ฌ์ฒด ๋ธ๋ก๊ณผ ์คํ์ผ ๋ธ๋ก์ ์์ธก ๊ฐ๋ฅํ ์์๋ก ์ ์งํ๊ธฐ ๋๋ฌธ์, ํธ๋ฆฌ๊ฑฐ๊ฐ ๊ธฐ์กด ๊ฐ์กฐ ๊ฐ์ค์น๋ฅผ ํํธ๋ฌ๋จ๋ฆฌ์ง ์๊ณ ๊น๋ํ๊ฒ ์๋ฆฌ ์ก์ต๋๋ค.
์ด ํ๋กฌํํธ๋ค์ด AUTOMATIC1111, ComfyUI, Forge์์ ์๋ํ๋์?+
๋ค. ์ธ ์ธํฐํ์ด์ค ๋ชจ๋ ๋์ผํ (keyword:weight) ๊ฐ์กฐ ๋ฌธ๋ฒ์ ์ง์ํ๋ฏ๋ก, ์์ฑ๋ ํ๋กฌํํธ๋ฅผ ํ๋กฌํํธ ํ๋์ ๋ฐ๋ก ๋ถ์ฌ๋ฃ์ ์ ์์ต๋๋ค. ComfyUI ์ฌ์ฉ์๋ ์๋ฌด ๋ณํ ์์ด ํ ์คํธ๋ฅผ ์ํ๋ฌ๋ก ์ฐ๊ฒฐ๋๋ ํฌ์งํฐ๋ธ CLIP Text Encode ๋ ธ๋์ ๋ฃ์ ์ ์์ต๋๋ค.
Stable Diffusion ํ๋กฌํํธ ์์ฑ๊ธฐ๋ ๋น์ฉ์ด ๋๋์?+
๋ชจ๋ ์ฌ์ฉ์์๊ฒ ๋งค์ผ ๋ฌด๋ฃ ํฌ๋ ๋ง์ด ์ ๊ณต๋๋ฉฐ, ๋ค์ด๋ก๋ํ๊ฑฐ๋ ์ค์นํ ๊ฒ ์์ด ๋ชจ๋ ์์ ์ด ๋ธ๋ผ์ฐ์ ์์ ๋์๊ฐ๋๋ค. ์ด ํฌ๋ ๋ง์ ์ผ์์ ์ธ ํ๋กฌํํธ ์์ฑ ์ธ์ ์ ์ถฉ๋ถํ ๊ฐ๋นํฉ๋๋ค. ๋ณธ์ธ์ GPU ์๊ฐ์ ๋ก์ปฌ Stable Diffusion ํ๊ฒฝ์์ ๊ฒฐ๊ณผ๋ฅผ ๋ ๋๋งํ ๋๋ง ์ฐ๊ฒ ๋ฉ๋๋ค.
CFG ์ค์ผ์ผ์ ํ๋กฌํํธ์ ์ด๋ป๊ฒ ์ํธ์์ฉํ๋์?+
CFG ์ค์ผ์ผ์ ์ํ๋ฌ๊ฐ ํ๋กฌํํธ๋ฅผ ์ผ๋ง๋ ์๊ฒฉํ๊ฒ ๋ฐ๋ฅด๋์ง ์กฐ์ ํฉ๋๋ค. ๊ฐ์ค์น๊ฐ ์ ์ฉ๋๊ณ ์ ์ ๋ ฌ๋ ํ๋กฌํํธ๋ SDXL์์ ๋๋ต 5์์ 8 ์ฌ์ด์ ์ ๋นํ ๊ฐ์์๋ ์ ๋ฒํฐ๋ฉฐ, ์์ฐ์ค๋ฌ์ด ์๊ณผ ๋๋น๋ฅผ ๋ณด์กดํฉ๋๋ค. ๋น์ฝํ ํ๋กฌํํธ๋ ์์์ ์ํด ๊ฐ์ด๋์ค๋ฅผ ๋์ด๋๋ก ๋ชฐ์๋ถ์ด๋๋ฐ, ๋์ CFG๋ ์ด๋ค ๋ค๊ฑฐํฐ๋ธ ํ๋กฌํํธ๋ก๋ ์์ ํ ๊ณ ์น ์ ์๋ ๊ณผ์ฑ๋๋ฅผ ๋ถ๋ฌ์ต๋๋ค.
๊ธฐ์ ์ ์ธ ๊ฒ์ ์จ์ผ ํ๋์, ์๋๋ฉด ๊ทธ๋ฅ ์ด๋ฏธ์ง๋ฅผ ์ค๋ช ํ๋ฉด ๋๋์?+
๊ทธ๋ฅ ๊ทธ๋ฆผ์ ์ค๋ช ํ์ธ์. ํผ์ฌ์ฒด, ๋ฐฐ๊ฒฝ, ๋ถ์๊ธฐ๋ฅผ ์์ฐ์ค๋ฝ๊ฒ ๋๊ปด์ง๋ ํํ์ผ๋ก ์ฌ์ด ๋ง๋ก ์ ๋ ฅํ๋ฉด ๋ฉ๋๋ค. ๊ธฐ์ ์ ์ธ ์ธต์, ์ฆ ํ ํฐ ์์, ๊ฐ์กฐ ๊ฐ์ค์น, ํ์ง ํ๊ทธ๋ ์์ฑ๊ธฐ๊ฐ ์ฒ๋ฆฌํฉ๋๋ค. ์์ด๋์ด ์ ๊ตฌ์ฒด์ ์ธ ๋ช ์ฌ์ ๊ตฌ์ฒด์ ์ธ ํ์ฉ์ฌ๋ ๋์ ๋๊ฒ ๋ ์ ๋ฐํ ํ๊ทธ ์คํ์ ๋ง๋ค์ด ๋ ๋๋ค.
๋ ๋ง์ AI ๋๊ตฌ
Midjourney ํ๋กฌํํธ ์์ฑ๊ธฐ
ํ๋ฒํ ์์ด๋์ด์์ ํ๋ฉด ๋น์จ๊ณผ ์คํ์ผ ํ๋๊ทธ๊ฐ ํ๋ถํ Midjourney ํ๋กฌํํธ๋ฅผ ๋ง๋์ธ์.
๋ฆฌ๋ฒ์ค ์ด๋ฏธ์ง ํ๋กฌํํธ ํ์ธ๋
์ด๋ค ์ด๋ฏธ์ง๋ ์ ๋ก๋ํด ๊ทธ๊ฒ์ ์ฌํํ ํ๋กฌํํธ ํํ์ ์ค๋ช ์ ๋์ฐพ์ผ์ธ์.
DALL-E 3 ํ๋กฌํํธ ์์ฑ๊ธฐ
์งง์ ์์ด๋์ด๋ฅผ DALL-E 3 ๋ ๋๋ง์ ๋ง์ถฐ ์กฐ์จ๋ ์์ธํ ์์ฐ์ด ํ๋กฌํํธ๋ก ๋ฐ๊พธ์ธ์.