Stable Diffusion AI ์ „๋ฌธ๊ฐ€

Stable Diffusion ํ”„๋กฌํ”„ํŠธ ์ƒ์„ฑ๊ธฐ

๋ฌด๋ฃŒ Stable Diffusion ํ”„๋กฌํ”„ํŠธ ์ƒ์„ฑ๊ธฐ.

์ด ๋„๊ตฌ ํ‰๊ฐ€ํ•˜๊ธฐ

ํ‰๋ฒ”ํ•œ ์•„์ด๋””์–ด์—์„œ ๊ฐ€์ค‘์น˜๊ฐ€ ์ ์šฉ๋œ SD ๋ฌธ๋ฒ•์œผ๋กœ

๋ณด๊ณ  ์‹ถ์€ ๊ฒƒ์„ ์„ค๋ช…ํ•˜๋ฉด ์ด Stable Diffusion ํ”„๋กฌํ”„ํŠธ ์ƒ์„ฑ๊ธฐ๊ฐ€ ์—”์ง€๋‹ˆ์–ด๋ง์„ ๋„๋งก์Šต๋‹ˆ๋‹ค. ์ˆœ์„œ๊ฐ€ ์ •๋ ฌ๋œ ํƒœ๊ทธ, (keyword:1.2) ๊ฐ•์กฐ ๊ฐ€์ค‘์น˜, ๊ทธ๋ฆฌ๊ณ  ๊ฐ€์ค‘์น˜๊ฐ€ ์ ์šฉ๋œ ํ’ˆ์งˆ ํ”„๋ฆฌํ”ฝ์Šค๋ฅผ ๋ชจ๋‘ ๋ธŒ๋ผ์šฐ์ €์—์„œ ๋‹จ ๋ช‡ ์ดˆ ๋งŒ์— ๋งŒ๋“ค์–ด ๋ƒ…๋‹ˆ๋‹ค.

1

์•„์ด๋””์–ด๋ฅผ ์ž…๋ ฅํ•˜์„ธ์š”

'๋น„ ๋‚ด๋ฆฌ๋Š” ์‚ฌ์ด๋ฒ„ํŽ‘ํฌ ๊ณจ๋ชฉ'๋ถ€ํ„ฐ ์™„๊ฒฐ๋œ ์žฅ๋ฉด ๋ธŒ๋ฆฌํ”„๊นŒ์ง€, ์‰ฌ์šด ๋ง๋กœ ๋œ ์ฝ˜์…‰ํŠธ๋ฅผ ์ž…๋ ฅํ•˜์„ธ์š”. ๋ชจ๊ตญ์–ด๋กœ ์จ๋„ ์ตœ์ ํ™”๋œ ์˜์–ด ์ถœ๋ ฅ์„ ๋ฐ›์„ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

2

๋งค์ง ์ธํ•ธ์Šค๊ฐ€ ๋ฌธ๋ฒ•์„ ๊ตฌ์„ฑํ•ฉ๋‹ˆ๋‹ค

ํด๋ฆญ ํ•œ ๋ฒˆ์ด๋ฉด ๋‹น์‹ ์˜ ์•„์ด๋””์–ด๋ฅผ SD์— ์นœํ™”์ ์ธ ํ† ํฐ ์ˆœ์„œ๋กœ ์žฌ๊ตฌ์„ฑํ•˜๊ณ , (masterpiece, best quality, highly detailed:1.2) ๊ฐ™์€ ๊ฐ€์ค‘์น˜ ํ’ˆ์งˆ ๋ธ”๋ก์œผ๋กœ ์‹œ์ž‘ํ•˜๋ฉฐ, ์žฅ๋ฉด์„ ๊ทœ์ •ํ•˜๋Š” ์š”์†Œ๋“ค์— ๊ฐ•์กฐ ๊ฐ€์ค‘์น˜๋ฅผ ์ ์šฉํ•ฉ๋‹ˆ๋‹ค.

3

SD ์ธํ„ฐํŽ˜์ด์Šค์— ๋ณต์‚ฌํ•˜์„ธ์š”

๊ฒฐ๊ณผ๋ฅผ AUTOMATIC1111, ComfyUI, Forge์— ๊ทธ๋Œ€๋กœ ๋ถ™์—ฌ๋„ฃ์œผ์„ธ์š”. ์ˆ˜์ •์ด ํ•„์š”ํ•œ๊ฐ€์š”? Edit ๋ชจ๋“œ๋กœ ์ „ํ™˜ํ•ด ํƒœ๊ทธ๋ฅผ ์†์œผ๋กœ ๋‹ค์‹œ ์“ฐ๋Š” ๋Œ€์‹  ์‰ฌ์šด ์ง€์‹œ๋งŒ์œผ๋กœ ํ”„๋กฌํ”„ํŠธ๋ฅผ ์กฐ์ •ํ•˜์„ธ์š”.

๋ชจ๋ธ์„ ์ธ์‹ํ•˜๋Š” ํ”„๋กฌํ”„ํŠธ ์—”์ง€๋‹ˆ์–ด๋ง์ด Stable Diffusion์— ์˜๋ฏธํ•˜๋Š” ๊ฒƒ

Stable Diffusion์€ ํ”„๋กฌํ”„ํŠธ๋ฅผ ํ† ํฐ ์‹œํ€€์Šค๋กœ ์ฝ์œผ๋ฉฐ, ๋ชจ๋“  ํ† ํฐ์€ ๋””๋…ธ์ด์ง• ๊ณผ์ •์—์„œ ์ฃผ์˜๋ฅผ ๋‘๊ณ  ๊ฒฝ์Ÿํ•ฉ๋‹ˆ๋‹ค. ํ‰๋ฒ”ํ•œ ํ…์ŠคํŠธ ์ƒ์ž์— 'detailed castle, dramatic lighting'์ด๋ผ๊ณ  ์ž…๋ ฅํ•˜๋ฉด ์ƒ˜ํ”Œ๋Ÿฌ๋Š” ๋‘ ๊ตฌ์ ˆ์„ ๋™๋“ฑํ•˜๊ฒŒ ์ทจ๊ธ‰ํ•ฉ๋‹ˆ๋‹ค. ์ €ํฌ Stable Diffusion ํ”„๋กฌํ”„ํŠธ ์ƒ์„ฑ๊ธฐ๋Š” ๋‹น์‹ ์˜ ์•„์ด๋””์–ด๋ฅผ ๊ฐ€์ค‘์น˜๊ฐ€ ์ ์šฉ๋œ ๋ฌธ๋ฒ•์œผ๋กœ ์žฌ๊ตฌ์„ฑํ•ด (dramatic lighting:1.2)์ฒ˜๋Ÿผ ๊ฐ•์กฐ๋ฅผ ์ ์šฉํ•˜๋ฏ€๋กœ, ๋‹น์‹ ์ด ์ค‘์‹œํ•˜๋Š” ๋ถ€๋ถ„์ด ์‹ค์ œ๋กœ ๋””ํ“จ์ „ ๊ณผ์ •์„ ์ด๋•๋‹ˆ๋‹ค. ๋˜ํ•œ SD ์ฒดํฌํฌ์ธํŠธ๊ฐ€ ํ•™์Šต๋œ ๋ฐฉ์‹๋Œ€๋กœ ํ”ผ์‚ฌ์ฒด์—์„œ ์Šคํƒ€์ผ ์ˆœ์œผ๋กœ ํƒœ๊ทธ๋ฅผ ์ •๋ ฌํ•ด, ๊ฐ€์žฅ ์ค‘์š”ํ•œ ํ† ํฐ์„ ์•ž์ชฝ์— ๋ฐฐ์น˜ํ•˜๊ณ  ์ฃผ์˜๋ฅผ ํฌ์„ํ•˜๋Š” ๊ตฐ๋”๋”๊ธฐ ๋‹จ์–ด๋ฅผ ๊ฑท์–ด๋ƒ…๋‹ˆ๋‹ค.

์ฒดํฌํฌ์ธํŠธ๋งˆ๋‹ค ๋‹ค๋ฅธ ๋ฐฉ์–ธ์„ ๋‹ค๋ฃจ๋А๋ผ ์”จ๋ฆ„ํ•˜๋Š” ๋Œ€์‹ , ์ด ์ƒ์„ฑ๊ธฐ๋Š” SD 1.5, SDXL, Booru๋กœ ํ•™์Šต๋œ ์• ๋‹ˆ๋ฉ”์ด์…˜ ๋ชจ๋ธ์ด ๋ชจ๋‘ ์•ˆ์ •์ ์œผ๋กœ ํ•ด์„ํ•˜๋Š” ๊ฒ€์ฆ๋œ ๊ตฌ์กฐ ํ•˜๋‚˜๋ฅผ ๋งŒ๋“ค์–ด ๋ƒ…๋‹ˆ๋‹ค. ๊ฐ€์ค‘์น˜๊ฐ€ ์ ์šฉ๋œ ํ’ˆ์งˆ ํ”„๋ฆฌํ”ฝ์Šค (masterpiece, best quality, highly detailed:1.2)์— ์ด์–ด, ํ•œ ๋ฌธ์žฅ์งœ๋ฆฌ ํ”ผ์‚ฌ์ฒด ์„ค๋ช…๊ณผ, ์žฅ๋ฉด์˜ ์‹œ๊ฐ์  ์„ธ๋ถ€(์กฐ๋ช…, ์งˆ๊ฐ, ๋ถ„์œ„๊ธฐ)๋ฅผ ๋‹ด์•„๋‚ด๋Š” ๊ฐ•ํ•˜๊ฒŒ ๊ฐ€์ค‘๋œ ์‰ผํ‘œ ๊ตฌ๋ถ„ ๋ฏธ์  ํƒœ๊ทธ ์—ด ๊ฐœ๊ฐ€ ๋’ค๋”ฐ๋ฅด๋Š” ๊ตฌ์กฐ์ž…๋‹ˆ๋‹ค. ํ˜•์‹์ด ์‹คํ–‰ํ•  ๋•Œ๋งˆ๋‹ค ์ผ๊ด€๋˜๊ฒŒ ์œ ์ง€๋˜๋ฏ€๋กœ, ๊ฐ€์ค‘์น˜๋ฅผ ์กฐ์ผ ์ง€์ , ์Šคํƒ€์ผ ํƒœ๊ทธ๋ฅผ ๊ต์ฒดํ•  ์ง€์ , ํŠธ๋ฆฌ๊ฑฐ ๋‹จ์–ด๋ฅผ ๋„ฃ์„ ์ง€์ ์„ ์–ธ์ œ๋‚˜ ์ •ํ™•ํžˆ ์•Œ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์•„์ด๋””์–ด๊ฐ€ ์•„๋‹ˆ๋ผ ์‚ฌ์ง„์—์„œ ์‹œ์ž‘ํ•œ๋‹ค๋ฉด, ์ €ํฌ ๋ฆฌ๋ฒ„์Šค ์ด๋ฏธ์ง€ ํ”„๋กฌํ”„ํŠธ ํŒŒ์ธ๋”๊ฐ€ ๋จผ์ € ์›๋ณธ ์ด๋ฏธ์ง€์—์„œ ์‹œ๊ฐ์  ์„ธ๋ถ€๋ฅผ ์ถ”์ถœํ•ฉ๋‹ˆ๋‹ค.

์ƒ์„ฑํ•˜๋Š” ๋ชจ๋“  ๊ฒƒ์€ AUTOMATIC1111, ComfyUI, Forge์— ๋ฐ”๋กœ ๋ณต์‚ฌํ•ด ๋ถ™์—ฌ๋„ฃ์„ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์„ธ ์ธํ„ฐํ”„๋ฆฌํ„ฐ ๋ชจ๋‘ ๋™์ผํ•œ (keyword:weight) ๊ฐ•์กฐ ๊ทœ์น™์„ ๋”ฐ๋ฅด๊ธฐ ๋•Œ๋ฌธ์ž…๋‹ˆ๋‹ค. ๊ตฌ์กฐํ™”๋œ ์ถœ๋ ฅ์€ LoRA ํŠธ๋ฆฌ๊ฑฐ ๋‹จ์–ด๋ฅผ ์œ„ํ•œ ๊น”๋”ํ•œ ์‚ฝ์ž… ์ง€์ ์„ ๋‚จ๊ฒจ๋‘์–ด, ํ† ํฐ ์ˆœ์„œ๋ฅผ ๊นจ๋œจ๋ฆฌ์ง€ ์•Š๊ณ  ์ปค์Šคํ…€ ์Šคํƒ€์ผ ๋กœ๋”๋ฅผ ๋ผ์›Œ ๋„ฃ์„ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๊ทธ๋ฆฌ๊ณ  ์ž˜ ๊ฐ€์ค‘๋œ ํ”„๋กฌํ”„ํŠธ๋Š” ๊ฐ€์ด๋˜์Šค ์••๋ ฅ์„ ๋œ ํ•„์š”๋กœ ํ•˜๊ธฐ ๋•Œ๋ฌธ์—, ์ƒ‰์ด ํƒ€๊ณ  ๋Œ€๋น„๊ฐ€ ๋ญ‰๊ฐœ์งˆ ๋งŒํผ ๊ฐ€์ด๋˜์Šค๋ฅผ ๋†’์ด๋Š” ๋Œ€์‹  ๋ณดํ†ต 5์—์„œ 8 ์‚ฌ์ด์˜ ์ ๋‹นํ•œ CFG ์Šค์ผ€์ผ ๊ฐ’์œผ๋กœ ์‹คํ–‰ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์•„์ด๋””์–ด๋ฅผ ํ•œ ๋ฒˆ ์ž…๋ ฅํ•œ ๋’ค์—๋Š”, ํƒœ๊ทธ๋ฅผ ๋‹ค์‹œ ์“ฐ๋Š” ๋Œ€์‹  ์‹œ๋“œ๋ฅผ ๋ฐ”๊ฟ”๊ฐ€๋ฉฐ ๋ฐ˜๋ณตํ•˜๋Š” ๋ฐ GPU ์‹œ๊ฐ„์„ ์“ฐ์„ธ์š”.

  • ์ž๋™ (keyword:1.2) ๊ฐ•์กฐ ๊ฐ€์ค‘์น˜
  • ๋ชจ๋“  ํ”„๋กฌํ”„ํŠธ์— ๊ฐ€์ค‘์น˜ ํ’ˆ์งˆ ํ”„๋ฆฌํ”ฝ์Šค
  • ์• ๋‹ˆ๋ฉ”์ด์…˜ ์ฒดํฌํฌ์ธํŠธ์šฉ Booru ํƒœ๊ทธ ์Šคํƒ
  • AUTOMATIC1111, ComfyUI, Forge์— ๋ฐ”๋กœ ๋ถ™์—ฌ๋„ฃ๊ธฐ ๊ฐ€๋Šฅ

๊ฐ€์ค‘์น˜ ์ ์šฉ SD ํ”„๋กฌํ”„ํŠธ๋กœ ๋Œ์•„๊ฐ€๋Š” ์—ฌ์„ฏ ๊ฐ€์ง€ ์›Œํฌํ”Œ๋กœ

์ฒดํฌํฌ์ธํŠธ๋ฅผ ๋งŒ์ง€์ž‘๊ฑฐ๋ฆฌ๋Š” ์‚ฌ๋žŒ๋ถ€ํ„ฐ ํ”„๋กœ๋•์…˜ ํŒ€๊นŒ์ง€, ๋งค์ผ ์ž…๋ ฅํ•œ ์•„์ด๋””์–ด๋ฅผ ๊ฐ€์ค‘์น˜๊ฐ€ ์ ์šฉ๋œ Stable Diffusion ๋ฌธ๋ฒ•์œผ๋กœ ๋ฐ”๊พธ๋Š” ์ด๋“ค์„ ์†Œ๊ฐœํ•ฉ๋‹ˆ๋‹ค.

๐ŸŽญ

์• ๋‹ˆ๋ฉ”์ด์…˜ ์•„ํ‹ฐ์ŠคํŠธ

์• ๋‹ˆ๋ฉ”์ด์…˜ ์ฒดํฌํฌ์ธํŠธ์— ๋งž์ถฐ ์กฐ์œจ๋œ Booru ์Šคํƒ€์ผ ํƒœ๊ทธ ์Šคํƒ์„, ์„ ๋ช…ํ•˜๊ณ  ์ผ๊ด€๋œ ๋””ํ…Œ์ผ๋กœ ๋ Œ๋”๋ง์„ ์ด๋„๋Š” ๊ฐ€์ค‘์น˜ ํ’ˆ์งˆ ํ”„๋ฆฌํ”ฝ์Šค์™€ ํ•จ๊ป˜ ์ƒ์„ฑํ•˜์„ธ์š”.

๐Ÿ–ผ๏ธ

์ฝ˜์…‰ํŠธ ์•„ํ‹ฐ์ŠคํŠธ

ํ•œ ์ค„ ๋ธŒ๋ฆฌํ”„๋ฅผ ๊ฐ€์ค‘์น˜๊ฐ€ ์ ์šฉ๋œ SDXL ํ”„๋กฌํ”„ํŠธ๋กœ ๋ฐ”๊พผ ๋‹ค์Œ, ๋ Œ๋”๋งํ•  ๋•Œ๋งˆ๋‹ค ํƒœ๊ทธ๋ฅผ ๋‹ค์‹œ ์“ฐ๋Š” ๋Œ€์‹  ์‹œ๋“œ๋ฅผ ๋ฐ”๊ฟ”๊ฐ€๋ฉฐ ๋ฐ˜๋ณตํ•˜์„ธ์š”.

๐Ÿงฉ

ComfyUI ๋…ธ๋“œ ๋นŒ๋”

๋ณต์žกํ•œ ์›Œํฌํ”Œ๋กœ ๊ทธ๋ž˜ํ”„ ์ „๋ฐ˜์—์„œ ๊ฐ•์กฐ ๊ฐ€์ค‘์น˜๋ฅผ ์ผ์ผ์ด ์†์œผ๋กœ ์กฐ์œจํ•˜์ง€ ์•Š๊ณ , ๊ตฌ์กฐํ™”๋˜๊ณ  ๋ฏธ๋ฆฌ ๊ฐ€์ค‘๋œ ํ”„๋กฌํ”„ํŠธ ํ…์ŠคํŠธ๋ฅผ CLIP Text Encode ๋…ธ๋“œ์— ๋„ฃ์œผ์„ธ์š”.

๐ŸŽฎ

๊ฒŒ์ž„ ์• ์…‹ ์ œ์ž‘์ž

์Šคํ”„๋ผ์ดํŠธ, ํ™˜๊ฒฝ, ์บ๋ฆญํ„ฐ ์‹œํŠธ๋ฅผ ์œ„ํ•œ ์ผ๊ด€๋œ ํ”„๋กฌํ”„ํŠธ ํ…œํ”Œ๋ฆฟ์„ ๋งŒ๋“ค์–ด, ๊ฐ€์ค‘์น˜ ์Šคํƒ€์ผ ๋ธ”๋ก์ด ๊ณ ์ •๋œ ์ฑ„๋กœ ํ”ผ์‚ฌ์ฒด๋งŒ ๋ฐ”๊ฟ” ๋ณด์„ธ์š”.

๐Ÿงฌ

LoRA ํŠธ๋ ˆ์ด๋„ˆ

์ปค์Šคํ…€ LoRA ๋ชจ๋ธ์„ ์œ„ํ•œ ์ผ๊ด€๋˜๊ฒŒ ์ •๋ ฌ๋œ ํ…Œ์ŠคํŠธ ํ”„๋กฌํ”„ํŠธ๋ฅผ ์ž‘์„ฑํ•˜๊ณ , ํŠธ๋ฆฌ๊ฑฐ ๋‹จ์–ด๋ฅผ ๊ธฐ๋ณธ ํ”ผ์‚ฌ์ฒด ๋ฐ ์Šคํƒ€์ผ ํƒœ๊ทธ์™€ ๊น”๋”ํ•˜๊ฒŒ ๋ถ„๋ฆฌํ•ด ๋‘์„ธ์š”.

๐Ÿงช

SD ์ž…๋ฌธ์ž

๋ช‡ ๋‹ฌ๊ฐ„์˜ ์‹œํ–‰์ฐฉ์˜ค๋ฅผ ๊ฑด๋„ˆ๋›ฐ์„ธ์š”. ์ƒ์„ฑ๋œ ์ถœ๋ ฅ ํ•˜๋‚˜ํ•˜๋‚˜๋ฅผ ์‚ดํŽด๋ณด๋ฉฐ ์ˆ™๋ จ๋œ ํ”„๋กฌํ”„ํ„ฐ๊ฐ€ ํ† ํฐ์— ๊ฐ€์ค‘์น˜๋ฅผ ์ฃผ๊ณ  ํƒœ๊ทธ ์Šคํƒ์„ ์ •๋ ฌํ•˜๋Š” ๋ฐฉ์‹์„ ์ตํžˆ์„ธ์š”.

์ž…๋ ฅํ•œ ์•„์ด๋””์–ด vs. ์†์œผ๋กœ ์ง  ํƒœ๊ทธ ์Šคํƒ

Stable Diffusion์—์„œ๋Š” ํ”„๋กฌํ”„ํŠธ ํ’ˆ์งˆ์ด ๋ Œ๋”๋ง ํ’ˆ์งˆ์„ ๊ฒฐ์ •ํ•ฉ๋‹ˆ๋‹ค. ๋ชฉ์ ์— ๋งž๊ฒŒ ๋งŒ๋“ค์–ด์ง„ Stable Diffusion ํ”„๋กฌํ”„ํŠธ ์ƒ์„ฑ๊ธฐ๊ฐ€ ์ง์ ‘ ํƒœ๊ทธ๋ฅผ ์“ฐ๊ฑฐ๋‚˜ ๋ชจ๋ธ๊ณผ ๋ฌด๊ด€ํ•œ ๋ฒ”์šฉ ํ”„๋กฌํ”„ํŠธ ๋„๊ตฌ๋ฅผ ์“ฐ๋Š” ๊ฒƒ๊ณผ ์–ด๋–ป๊ฒŒ ๋น„๊ต๋˜๋Š”์ง€ ์‚ดํŽด๋ณด์„ธ์š”.

ํŠน์ง•ImaginPrompt์ˆ˜๋™ ํƒœ๊ทธ ์ž‘์„ฑ๋ฒ”์šฉ ํ”„๋กฌํ”„ํŠธ ๋„๊ตฌ
ํ† ํฐ ๊ฐ€์ค‘์น˜ ๋ฌธ๋ฒ•โœ… (keyword:1.2) ๊ฐ•์กฐ๋ฅผ ์ž๋™์œผ๋กœ ์ ์šฉโš ๏ธ ์†์œผ๋กœ ํ•˜๋Š” ์‹œํ–‰์ฐฉ์˜ค์‹ ์กฐ์ •โŒ ๋Œ€๊ฐœ ํ‰๋ฒ”ํ•œ ํ…์ŠคํŠธ๋ฟ
ํ’ˆ์งˆ ํƒœ๊ทธ ํ”„๋ฆฌํ”ฝ์Šคโœ… ๋ชจ๋“  ํ”„๋กฌํ”„ํŠธ๋ฅผ (masterpiece, best quality:1.2)๋กœ ์‹œ์ž‘โš ๏ธ ์ž‘์—… ๋„์ค‘ ๋น ๋œจ๋ฆฌ๊ธฐ ์‰ฌ์›€โŒ SD ํ’ˆ์งˆ ํƒœ๊ทธ๊ฐ€ ์ „ํ˜€ ์—†์Œ
์ผ๊ด€๋œ ํ”„๋กฌํ”„ํŠธ ๊ตฌ์กฐโœ… ์‹คํ–‰ํ•  ๋•Œ๋งˆ๋‹ค ๋™์ผํ•œ ๊ฐ€์ค‘์น˜ ํƒœ๊ทธ ์Šคํƒโš ๏ธ ์„ธ์…˜๋งˆ๋‹ค ๊ตฌ์กฐ๊ฐ€ ํ”๋“ค๋ฆผโŒ ์ˆœ์„œ ์—†๋Š” ์ž์œ  ํ˜•์‹ ํ…์ŠคํŠธ
Booru ํƒœ๊ทธ ๊ทœ์น™โœ… ์• ๋‹ˆ๋ฉ”์ด์…˜ ์ฒดํฌํฌ์ธํŠธ์šฉ์œผ๋กœ ์ง€์›โš ๏ธ ํƒœ๊ทธ ๋ชฉ๋ก ์•”๊ธฐ๊ฐ€ ํ•„์š”โŒ ์ฒดํฌํฌ์ธํŠธ๋ฅผ ์ธ์‹ํ•˜์ง€ ๋ชปํ•จ
์“ธ ๋งŒํ•œ ํ”„๋กฌํ”„ํŠธ๋‹น ์†Œ์š” ์‹œ๊ฐ„โœ… ํ‰๋ฒ”ํ•œ ์•„์ด๋””์–ด์—์„œ ๋ช‡ ์ดˆโš ๏ธ ๋ช‡ ๋ถ„๊ฐ„์˜ ์ˆ˜์ž‘์—… ์กฐ์ •โš ๏ธ ๋น ๋ฅด์ง€๋งŒ SD์šฉ ์ˆ˜์ •์ด ํ•„์š”
LoRA ํŠธ๋ฆฌ๊ฑฐ๋ฅผ ์œ„ํ•œ ์—ฌ์œ โœ… ๊น”๋”ํ•œ ์‚ฝ์ž… ์ง€์ ์ด ๋ณด์กด๋จโœ… ์™„์ „ํ•œ ์ˆ˜๋™ ์ œ์–ดโš ๏ธ ํŠธ๋ฆฌ๊ฑฐ๊ฐ€ ๊ตฌ์กฐ๋ฅผ ๊นจ๋œจ๋ฆด ์ˆ˜ ์žˆ์Œ

์†์œผ๋กœ ์“ด ํƒœ๊ทธ๋Š” ์™„์ „ํ•œ ์ œ์–ด๊ถŒ์„ ์ฃผ์ง€๋งŒ ์‹œ๊ฐ„๊ณผ ์ „๋ฌธ์„ฑ์„ ์š”๊ตฌํ•˜๊ณ , ๋ฒ”์šฉ ๋„๊ตฌ๋Š” ์‹œ๊ฐ„์„ ์•„๊ปด์ฃผ์ง€๋งŒ SD ๋ฌธ๋ฒ•์„ ๋ฌด์‹œํ•ฉ๋‹ˆ๋‹ค. ์ด ์ƒ์„ฑ๊ธฐ๋Š” ๋‘˜์„ ๊ฒฐํ•ฉํ•ฉ๋‹ˆ๋‹ค. ๊ฐ€์ค‘์น˜๊ฐ€ ์ ์šฉ๋˜๊ณ  ์ผ๊ด€๋˜๊ฒŒ ๊ตฌ์กฐํ™”๋œ ํ”„๋กฌํ”„ํŠธ๋ฅผ ๋ช‡ ์ดˆ ๋งŒ์— ์ œ๊ณตํ•˜๋ฉด์„œ๋„, ๋ชจ๋“  ํ† ํฐ์€ ์—ฌ์ „ํžˆ ๋‹น์‹ ์ด ํŽธ์ง‘ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๋” ์„ ๋ช…ํ•œ Stable Diffusion ๋ Œ๋”๋ง์„ ์œ„ํ•œ ๊ธฐ๋ฒ•

๐Ÿ’ก ๊ฐ€์ค‘์น˜๋ฅผ 0.8์—์„œ 1.4 ์‚ฌ์ด๋กœ ์œ ์ง€ํ•˜์„ธ์š”

1.5๋ฅผ ๋„˜๋Š” ๊ฐ’์€ ๊ตฌ๋„๋ฅผ ์™œ๊ณกํ•˜๊ณ  ์ƒ‰์„ ํƒœ์›Œ๋ฒ„๋ฆฝ๋‹ˆ๋‹ค. (keyword:1.4)์—์„œ๋„ ์–ด๋–ค ์š”์†Œ๊ฐ€ ์—ฌ์ „ํžˆ ๋‚˜ํƒ€๋‚˜์ง€ ์•Š๋Š”๋‹ค๋ฉด, ๊ฐ€์ค‘์น˜๋ฅผ ๋” ์˜ฌ๋ฆฌ๋Š” ๋Œ€์‹  ํ‘œํ˜„์„ ๋ฐ”๊พธ๊ฑฐ๋‚˜ ํ”„๋กฌํ”„ํŠธ์—์„œ ๋” ์•ž์ชฝ์œผ๋กœ ์˜ฎ๊ธฐ์„ธ์š”.

๐Ÿ’ก ํƒœ๊ทธ ์Šคํƒ์„ ์ฒดํฌํฌ์ธํŠธ์— ๋งž๊ฒŒ ์กฐ์ •ํ•˜์„ธ์š”

์ƒ์„ฑ๋œ ๊ฐ€์ค‘์น˜ ํƒœ๊ทธ ์Šคํƒ์€ SD 1.5์™€ Booru๋กœ ํ•™์Šต๋œ ์• ๋‹ˆ๋ฉ”์ด์…˜ ๋ชจ๋ธ์—์„œ ๊ทธ๋Œ€๋กœ ์ž‘๋™ํ•ฉ๋‹ˆ๋‹ค. ๋” ์™„์ „ํ•œ ๋ฌธ์žฅ๋„ ์ฒ˜๋ฆฌํ•˜๋Š” SDXL์˜ ๊ฒฝ์šฐ, Edit ๋ชจ๋“œ๋กœ ์ผ๋ถ€ ํƒœ๊ทธ๋ฅผ ๊ตฌ์ ˆ๋กœ ํ’€์–ด์ค„ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ํ˜•์‹์ด ๋งž์ง€ ์•Š๋Š” ๊ฒƒ์€ ํƒํ•˜๊ณ  ๋ธŒ๋ฆฌํ”„์—์„œ ๋ฒ—์–ด๋‚œ ๋ Œ๋”๋ง์˜ ํ”ํ•œ ์›์ธ์ž…๋‹ˆ๋‹ค.

๐Ÿ’ก ๊ฐ•ํ•œ ํ”„๋กฌํ”„ํŠธ์—๋Š” ์ ๋‹นํ•œ CFG๋ฅผ ํ•จ๊ป˜ ์“ฐ์„ธ์š”

์ž˜ ๊ฐ€์ค‘๋œ ํ”„๋กฌํ”„ํŠธ๋Š” ๊ฐ€์ด๋˜์Šค๋ฅผ ๋œ ํ•„์š”๋กœ ํ•ฉ๋‹ˆ๋‹ค. SDXL์—์„œ๋Š” CFG 6์—์„œ 7 ์ •๋„๋กœ ์‹œ์ž‘ํ•˜์„ธ์š”. ์ž๊พธ 10์„ ๋„˜๊ธฐ๊ณ  ์žˆ๋‹ค๋ฉด, ์†๋ด์•ผ ํ•  ๊ฒƒ์€ ๋Œ€๊ฐœ ์Šค์ผ€์ผ์ด ์•„๋‹ˆ๋ผ ํ”„๋กฌํ”„ํŠธ์ž…๋‹ˆ๋‹ค.

๐Ÿ’ก LoRA ํŠธ๋ฆฌ๊ฑฐ๋Š” ํ”ผ์‚ฌ์ฒด ๋ธ”๋ก ๋’ค์— ๋‘์„ธ์š”

ํŠธ๋ฆฌ๊ฑฐ ๋‹จ์–ด๋ฅผ ํ”ผ์‚ฌ์ฒด ์„ค๋ช… ๋ฐ”๋กœ ๋’ค, ๊ฐ€์ค‘์น˜ ์Šคํƒ€์ผ ํƒœ๊ทธ ์•ž์— ์‚ฝ์ž…ํ•˜์„ธ์š”. ์ด๋ ‡๊ฒŒ ํ•˜๋ฉด ์Šคํƒ์—์„œ ๋’ค๋”ฐ๋ฅด๋Š” ๋ฏธ์  ํ‚ค์›Œ๋“œ์™€ ์ถฉ๋Œํ•˜์ง€ ์•Š์œผ๋ฉด์„œ LoRA๊ฐ€ ํ”ผ์‚ฌ์ฒด๋ฅผ ์ด๋Œ๊ฒŒ ๋ฉ๋‹ˆ๋‹ค.

์ž์ฃผ ๋ฌป๋Š” ์งˆ๋ฌธ

(word:1.2) ๊ฐ€์ค‘์น˜ ๋ฌธ๋ฒ•์€ ์‹ค์ œ๋กœ ๋ฌด์Šจ ์ผ์„ ํ•˜๋‚˜์š”?+

๋””๋…ธ์ด์ง• ๊ณผ์ •์—์„œ ํ•ด๋‹น ํ† ํฐ์˜ ์ฃผ์˜ ๊ฐ€์ค‘์น˜๋ฅผ ๊ณฑํ•ด ๋ชจ๋ธ์ด ๊ทธ๊ฒƒ์„ ์šฐ์„ ํ•˜๊ฒŒ ๋งŒ๋“ญ๋‹ˆ๋‹ค. 1.2๋ผ๋Š” ๊ฐ’์€ 20ํผ์„ผํŠธ ๋” ๊ฐ•์กฐํ•˜๊ณ , 0.8์€ ์ค„์ž…๋‹ˆ๋‹ค. ์ €ํฌ ์ƒ์„ฑ๊ธฐ๋Š” ์ด ๊ฐ€์ค‘์น˜๋ฅผ ์žฅ๋ฉด์„ ๊ทœ์ •ํ•˜๋Š” ์š”์†Œ๋“ค์— ์ž๋™์œผ๋กœ ์ ์šฉํ•˜๋ฏ€๋กœ, ์†์œผ๋กœ ์กฐ์ •ํ•  ์ผ์ด ๊ฑฐ์˜ ์—†์Šต๋‹ˆ๋‹ค.

์ƒ์„ฑ๊ธฐ๊ฐ€ ๋„ค๊ฑฐํ‹ฐ๋ธŒ ํ”„๋กฌํ”„ํŠธ๋„ ์ž‘์„ฑํ•˜๋‚˜์š”?+

์•„๋‹ˆ์š”. ๊ฐ ๊ฒฐ๊ณผ๋Š” ๊ฐ€์ค‘์น˜ ํ’ˆ์งˆ ๋ธ”๋ก (masterpiece, best quality, highly detailed:1.2)๋กœ ์‹œ์ž‘ํ•˜๋Š” ์ตœ์ ํ™”๋œ ํฌ์ง€ํ‹ฐ๋ธŒ ํ”„๋กฌํ”„ํŠธ ํ•˜๋‚˜์ด๋ฉฐ, ์ด ๋ธ”๋ก๋งŒ์œผ๋กœ๋„ ์ฒดํฌํฌ์ธํŠธ๊ฐ€ ๋งŽ์€ ์ €ํ’ˆ์งˆ ์ถœ๋ ฅ์—์„œ ๋ฉ€์–ด์ง€๋„๋ก ์ด๋•๋‹ˆ๋‹ค. ์†๊ฐ€๋ฝ์ด ๋” ์ƒ๊ธฐ๊ฑฐ๋‚˜ ์›Œํ„ฐ๋งˆํฌ ํ…์ŠคํŠธ๊ฐ€ ๋‚˜์˜ค๋Š” ์™„๊ณ ํ•œ ์•„ํ‹ฐํŒฉํŠธ์—๋Š”, ์žฌ์‚ฌ์šฉ ๊ฐ€๋Šฅํ•œ ๋„ค๊ฑฐํ‹ฐ๋ธŒ ๋ชฉ๋ก์„ AUTOMATIC1111์ด๋‚˜ ComfyUI์— ์ €์žฅํ•ด ๋‘๊ณ  ๋ Œ๋”๋งํ•  ๋•Œ๋งˆ๋‹ค ํ•จ๊ป˜ ์“ฐ์„ธ์š”.

ํƒœ๊ทธ ์Šคํƒ€์ผ ํ”„๋กฌํ”„ํŠธ๋ฅผ ์จ์•ผ ํ•˜๋‚˜์š”, ์•„๋‹ˆ๋ฉด ์ž์—ฐ์–ด ํ”„๋กฌํ”„ํŠธ๋ฅผ ์จ์•ผ ํ•˜๋‚˜์š”?+

ํƒœ๊ทธ ์Šคํƒ€์ผ์ด ๋” ์•ˆ์ „ํ•œ ๊ธฐ๋ณธ๊ฐ’์ž…๋‹ˆ๋‹ค. SD 1.5๊ณผ ๋Œ€๋ถ€๋ถ„์˜ ์• ๋‹ˆ๋ฉ”์ด์…˜ ๋ชจ๋ธ์€ ํƒœ๊ทธ ํ˜•ํƒœ์˜ ์บก์…˜์œผ๋กœ ํ•™์Šต๋˜์—ˆ๊ณ , SDXL์€ ๊ฐ€์ค‘์น˜๊ฐ€ ์ ์šฉ๋œ ์‰ผํ‘œ ๊ตฌ๋ถ„ ํƒœ๊ทธ๋ฅผ ์™„๊ฒฐ๋œ ๋ฌธ์žฅ๋งŒํผ์ด๋‚˜ ์•ˆ์ •์ ์œผ๋กœ ํ•ด์„ํ•ฉ๋‹ˆ๋‹ค. ๊ทธ๋ž˜์„œ ์ƒ์„ฑ๊ธฐ๋Š” ๋ชจ๋“  ์š”์ฒญ์— ๋Œ€ํ•ด ์ผ๊ด€๋œ ๊ตฌ์กฐ ํ•˜๋‚˜๋ฅผ ๋งŒ๋“ค์–ด ๋ƒ…๋‹ˆ๋‹ค. ๊ฐ€์ค‘์น˜ ํ’ˆ์งˆ ํ”„๋ฆฌํ”ฝ์Šค, ํ•œ ๋ฌธ์žฅ์งœ๋ฆฌ ํ”ผ์‚ฌ์ฒด ์„ค๋ช…, ๊ทธ๋ฆฌ๊ณ  ๊ฐ€์ค‘์น˜๊ฐ€ ์ ์šฉ๋œ ๋ฏธ์  ํƒœ๊ทธ ์—ด ๊ฐœ์ž…๋‹ˆ๋‹ค. SDXL ๋ Œ๋”๋ง์— ๋งค๋„๋Ÿฌ์šด ๋ฌธ์žฅ์„ ์„ ํ˜ธํ•œ๋‹ค๋ฉด, Edit ๋ชจ๋“œ๋กœ ํƒœ๊ทธ๋ฅผ ๊ตฌ์ ˆ๋กœ ํ’€์–ด์ฃผ์„ธ์š”.

์ƒ์„ฑ๋œ ํ”„๋กฌํ”„ํŠธ์— LoRA ํŠธ๋ฆฌ๊ฑฐ ๋‹จ์–ด๋ฅผ ์ถ”๊ฐ€ํ•  ์ˆ˜ ์žˆ๋‚˜์š”?+

๋„ค. ์ถœ๋ ฅ์ด ํ‰๋ฒ”ํ•œ ํ…์ŠคํŠธ์ด๋ฏ€๋กœ, LoRA ๋ฌธ์„œ๊ฐ€ ๊ถŒ์žฅํ•˜๋Š” ์œ„์น˜, ๋Œ€๊ฐœ ํ”ผ์‚ฌ์ฒด ์„ค๋ช… ๋ฐ”๋กœ ๋’ค ์–ด๋””์—๋“  ํŠธ๋ฆฌ๊ฑฐ ๋‹จ์–ด๋ฅผ ์‚ฝ์ž…ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์ƒ์„ฑ๊ธฐ๊ฐ€ ํ”ผ์‚ฌ์ฒด ๋ธ”๋ก๊ณผ ์Šคํƒ€์ผ ๋ธ”๋ก์„ ์˜ˆ์ธก ๊ฐ€๋Šฅํ•œ ์ˆœ์„œ๋กœ ์œ ์ง€ํ•˜๊ธฐ ๋•Œ๋ฌธ์—, ํŠธ๋ฆฌ๊ฑฐ๊ฐ€ ๊ธฐ์กด ๊ฐ•์กฐ ๊ฐ€์ค‘์น˜๋ฅผ ํํŠธ๋Ÿฌ๋œจ๋ฆฌ์ง€ ์•Š๊ณ  ๊น”๋”ํ•˜๊ฒŒ ์ž๋ฆฌ ์žก์Šต๋‹ˆ๋‹ค.

์ด ํ”„๋กฌํ”„ํŠธ๋“ค์ด AUTOMATIC1111, ComfyUI, Forge์—์„œ ์ž‘๋™ํ•˜๋‚˜์š”?+

๋„ค. ์„ธ ์ธํ„ฐํŽ˜์ด์Šค ๋ชจ๋‘ ๋™์ผํ•œ (keyword:weight) ๊ฐ•์กฐ ๋ฌธ๋ฒ•์„ ์ง€์›ํ•˜๋ฏ€๋กœ, ์ƒ์„ฑ๋œ ํ”„๋กฌํ”„ํŠธ๋ฅผ ํ”„๋กฌํ”„ํŠธ ํ•„๋“œ์— ๋ฐ”๋กœ ๋ถ™์—ฌ๋„ฃ์„ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ComfyUI ์‚ฌ์šฉ์ž๋Š” ์•„๋ฌด ๋ณ€ํ™˜ ์—†์ด ํ…์ŠคํŠธ๋ฅผ ์ƒ˜ํ”Œ๋Ÿฌ๋กœ ์—ฐ๊ฒฐ๋˜๋Š” ํฌ์ง€ํ‹ฐ๋ธŒ CLIP Text Encode ๋…ธ๋“œ์— ๋„ฃ์„ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

Stable Diffusion ํ”„๋กฌํ”„ํŠธ ์ƒ์„ฑ๊ธฐ๋Š” ๋น„์šฉ์ด ๋“œ๋‚˜์š”?+

๋ชจ๋“  ์‚ฌ์šฉ์ž์—๊ฒŒ ๋งค์ผ ๋ฌด๋ฃŒ ํฌ๋ ˆ๋”ง์ด ์ œ๊ณต๋˜๋ฉฐ, ๋‹ค์šด๋กœ๋“œํ•˜๊ฑฐ๋‚˜ ์„ค์น˜ํ•  ๊ฒƒ ์—†์ด ๋ชจ๋“  ์ž‘์—…์ด ๋ธŒ๋ผ์šฐ์ €์—์„œ ๋Œ์•„๊ฐ‘๋‹ˆ๋‹ค. ์ด ํฌ๋ ˆ๋”ง์€ ์ผ์ƒ์ ์ธ ํ”„๋กฌํ”„ํŠธ ์ž‘์„ฑ ์„ธ์…˜์„ ์ถฉ๋ถ„ํžˆ ๊ฐ๋‹นํ•ฉ๋‹ˆ๋‹ค. ๋ณธ์ธ์˜ GPU ์‹œ๊ฐ„์€ ๋กœ์ปฌ Stable Diffusion ํ™˜๊ฒฝ์—์„œ ๊ฒฐ๊ณผ๋ฅผ ๋ Œ๋”๋งํ•  ๋•Œ๋งŒ ์“ฐ๊ฒŒ ๋ฉ๋‹ˆ๋‹ค.

CFG ์Šค์ผ€์ผ์€ ํ”„๋กฌํ”„ํŠธ์™€ ์–ด๋–ป๊ฒŒ ์ƒํ˜ธ์ž‘์šฉํ•˜๋‚˜์š”?+

CFG ์Šค์ผ€์ผ์€ ์ƒ˜ํ”Œ๋Ÿฌ๊ฐ€ ํ”„๋กฌํ”„ํŠธ๋ฅผ ์–ผ๋งˆ๋‚˜ ์—„๊ฒฉํ•˜๊ฒŒ ๋”ฐ๋ฅด๋Š”์ง€ ์กฐ์ ˆํ•ฉ๋‹ˆ๋‹ค. ๊ฐ€์ค‘์น˜๊ฐ€ ์ ์šฉ๋˜๊ณ  ์ž˜ ์ •๋ ฌ๋œ ํ”„๋กฌํ”„ํŠธ๋Š” SDXL์—์„œ ๋Œ€๋žต 5์—์„œ 8 ์‚ฌ์ด์˜ ์ ๋‹นํ•œ ๊ฐ’์—์„œ๋„ ์ž˜ ๋ฒ„ํ‹ฐ๋ฉฐ, ์ž์—ฐ์Šค๋Ÿฌ์šด ์ƒ‰๊ณผ ๋Œ€๋น„๋ฅผ ๋ณด์กดํ•ฉ๋‹ˆ๋‹ค. ๋นˆ์•ฝํ•œ ํ”„๋กฌํ”„ํŠธ๋Š” ์ˆœ์‘์„ ์œ„ํ•ด ๊ฐ€์ด๋˜์Šค๋ฅผ ๋†’์ด๋„๋ก ๋ชฐ์•„๋ถ™์ด๋Š”๋ฐ, ๋†’์€ CFG๋Š” ์–ด๋–ค ๋„ค๊ฑฐํ‹ฐ๋ธŒ ํ”„๋กฌํ”„ํŠธ๋กœ๋„ ์™„์ „ํžˆ ๊ณ ์น  ์ˆ˜ ์—†๋Š” ๊ณผ์ฑ„๋„๋ฅผ ๋ถˆ๋Ÿฌ์˜ต๋‹ˆ๋‹ค.

๊ธฐ์ˆ ์ ์ธ ๊ฒƒ์„ ์จ์•ผ ํ•˜๋‚˜์š”, ์•„๋‹ˆ๋ฉด ๊ทธ๋ƒฅ ์ด๋ฏธ์ง€๋ฅผ ์„ค๋ช…ํ•˜๋ฉด ๋˜๋‚˜์š”?+

๊ทธ๋ƒฅ ๊ทธ๋ฆผ์„ ์„ค๋ช…ํ•˜์„ธ์š”. ํ”ผ์‚ฌ์ฒด, ๋ฐฐ๊ฒฝ, ๋ถ„์œ„๊ธฐ๋ฅผ ์ž์—ฐ์Šค๋Ÿฝ๊ฒŒ ๋А๊ปด์ง€๋Š” ํ‘œํ˜„์œผ๋กœ ์‰ฌ์šด ๋ง๋กœ ์ž…๋ ฅํ•˜๋ฉด ๋ฉ๋‹ˆ๋‹ค. ๊ธฐ์ˆ ์ ์ธ ์ธต์œ„, ์ฆ‰ ํ† ํฐ ์ˆœ์„œ, ๊ฐ•์กฐ ๊ฐ€์ค‘์น˜, ํ’ˆ์งˆ ํƒœ๊ทธ๋Š” ์ƒ์„ฑ๊ธฐ๊ฐ€ ์ฒ˜๋ฆฌํ•ฉ๋‹ˆ๋‹ค. ์•„์ด๋””์–ด ์† ๊ตฌ์ฒด์ ์ธ ๋ช…์‚ฌ์™€ ๊ตฌ์ฒด์ ์ธ ํ˜•์šฉ์‚ฌ๋Š” ๋ˆˆ์— ๋„๊ฒŒ ๋” ์ •๋ฐ€ํ•œ ํƒœ๊ทธ ์Šคํƒ์„ ๋งŒ๋“ค์–ด ๋ƒ…๋‹ˆ๋‹ค.

๋” ๋งŽ์€ AI ๋„๊ตฌ