가상공연 참여를 위한 감정표현이 가능한 소통형 관객 아바타 생성 기술 개발 · 문체부·한국콘텐츠진흥원
2024.11–2025.12
MR 공간컴퓨팅기반 AX 저작기술 및 실감콘텐츠 개발 · 문체부·한국콘텐츠진흥원
2025.03–2025.10
아나모픽 미디어아트 작품 제작 — GCC홀 영상 콘텐츠 개발 · 명성교회(카페램프)
2025.07–2025.12
2025 AI 영상콘텐츠 제작지원사업 — AI 기반 한국유산 애니메이션 “돌깨비” · 한국콘텐츠진흥원
논문 발표
2026.6
인공지능 활용 입체조형작품의 유형 및 표현 특성 연구
2025.11
인공지능 기술을 활용한 시각 예술 전시 사례 연구
2025.2
실감 미디어를 활용한 입체작품 전시 사례 연구
작품 포트폴리오
전통조각과 인공지능의 융합
기존 조소 전공을 바탕으로 입체 작품을 제작하고, 이를 3D 스캐닝 및 AI 기술과 결합하여 새로운 형태의 미디어 아트로 확장하고 있습니다.
▪ 재료의 물성을 살린 조각 작업
▪ 공공미술 조형물 설계 및 제작
▪ 조각 작품의 3D 에셋 전환
▪ AI 변환을 통한 디지털 이미지 확장
기업 협업 사례
문베어 브루어리 프로젝트
브랜드의 핵심 아이덴티티를 시각화하는 캐릭터 디자인 작업을 진행했습니다.
▪ 크래프트 맥주 캔 패키징 디자인
▪ 캐릭터 세계관 설정 및 캐릭터 디자인
▪ 브랜드 마스코트 3D 캐릭터 모델링
▪ 다양한 프로모션 굿즈 디자인 참여
오늘의 순서
개념을 이해하고, 직접 생성하고, 내 데이터를 학습한다
1
개념 · 이미지 생성 모델 · 내 컴퓨터(로컬)에서 생성(Z-Image)
2
설치 & 첫 생성 · Codex가 설치 → ComfyUI → 첫 이미지
3
공개 LoRA · 적용해 보며 적용 방법 체험
4
내 LoRA · 나의 이미지로 데이터셋 구성 → 나만의 스타일 학습
설치 해결·파일 정리·캡션 작성·반복 생성은 코딩 에이전트와 함께 진행한다.
본 강의는 코딩 에이전트와 함께
설치부터 정리까지, 코딩 에이전트와 함께 한다
Codex
OpenAI의 코딩 에이전트. 코드를 대신 쓰고, 내 코드베이스를 읽고, 오류를 함께 잡아 준다. ChatGPT 유료 플랜에 들어 있고, 앱·터미널·웹에서 내 폴더를 열어 파일을 만들고 고치고 실행까지 한다. 오늘 함께 쓸 도구다.
Claude Code
Anthropic의 에이전트형 코딩 도구. 코드베이스를 읽고, 파일을 편집하고, 명령을 실행하며 개발 도구와 연결된다. 터미널(CLI)뿐 아니라 데스크톱 앱(맥·윈도우), 웹(claude.ai/code), VS Code·JetBrains 확장으로도 쓴다. 프로젝트 전체 맥락을 읽고 원인을 설명하는 힘이 좋다는 평가가 많다.
Antigravity
Google의 에이전트형 개발 플랫폼(2025년 11월 공개). 에이전트가 에디터·터미널·브라우저를 오가며 작업을 계획·실행·검증하고, 결과를 스크린샷·기록(Artifacts)으로 남긴다. 무료로 시작할 수 있어 진입 부담이 낮다.
준비 1 · 지금 바로 시작하세요
Codex를 받아서 설치하고 로그인한다
01
openai.com/codex브라우저로 접속
02
다운로드내 운영체제용 설치 파일
03
설치받은 파일 실행
04
로그인쓰던 ChatGPT 계정
Codex는 유료 플랜
ChatGPT 유료 플랜(Plus 이상)에 포함되어 있다. 로그인만 하면 바로 쓸 수 있다.
맥은 M1 이상만 된다
애플 실리콘 전용이라 인텔 맥에는 설치되지 않는다. 해당되면 뒤에 나오는 클라우드 방법으로 간다.
설치가 끝난 사람부터 다음 장의 문장을 붙여 넣는다. 컴피유아이와 모델을 다운로드 받는데 시간이 많이 소요된다.
준비 2 · 붙여 넣기 전에 이것부터
폴더를 만들고 전체 액세스로 바꾼 뒤에 붙여 넣는다
01
D 드라이브에 sm 폴더D:\sm 을 만든다 · D가 없으면 C:\sm
02
그 폴더를 연다Codex에서 작업 폴더로 D:\sm 선택
03
전체 액세스로 전환기본값은 폴더 밖 쓰기·인터넷 차단
D:\sm 폴더에 ComfyUI를 설치해줘.D드라이브가 없을 경우 c:\sm폴더에 설치해줘. 그리고 Z-Image로 이미지를 만들 수 있게 아래 파일을 받아서 정확한 폴더에 넣어줘. · z_image_turbo_bf16.safetensors → D:\sm\ComfyUI\models\diffusion_models · qwen_3_4b.safetensors → D:\sm\ComfyUI\models\text_encoders · ae.safetensors → D:\sm\ComfyUI\models\vae 내 그래픽카드 VRAM이 12GB 이하면 bf16 대신 fp8 버전으로 받아줘. 다 끝나면 ComfyUI를 실행하고 브라우저로 http://127.0.0.1:8188 을 열어서 보여줘. 바탕화면에 "ComfyUI 실행.bat" 도 만들어줘. 더블클릭하면 ComfyUI가 실행되도록.
전체 액세스로 바꾸지 않으면 승인 창에서 멈춘 채 한 시간이 지나간다.20GB가 오가니 처음 5분은 화면을 보고 있어야 하고, 브라우저에 127.0.0.1:8188 이 뜨면 성공이다. 다음부터는 바탕화면의 실행 파일만 더블클릭하면 된다.
각자 가능한 만큼 진행한다
생성은 8GB에서 가능. 학습은 고사양 하드웨어 필요.
기본 — 오늘 모두 여기까지
설치하고 첫 이미지를 만든다
공개 LoRA를 받아 적용해 본다
데이터셋과 캡션은 원리와 절차를 이해한다
RTX 4070 Laptop(8GB)에서 1024px 한 장에 약 30초, LoRA를 얹어도 비슷했다.
확장 — 사양이 되면
내 이미지 30~100장으로 데이터셋을 만든다
캡션과 트리거워드를 직접 설계한다
학습을 실행하고 중간 저장본을 비교한다
학습은 24GB급이 기준이다. 부족하면 fal.ai·Replicate로 넘긴다.
필요한 건 NVIDIA 그래픽카드와 저장공간 30GB(권장 100GB). ComfyUI가 필요한 부분만 그래픽카드에 올렸다 내렸다 하므로 모델보다 VRAM이 작아도 돌아간다 — 대신 느려진다.
준비 3 · 내 장비로 안 될 때
설치가 불가능 할 경우
인텔 맥 · NVIDIA가 아닌 경우
ComfyUI 클라우드
같은 화면을 웹에서 쓴다. 설치와 다운로드 없이 노드와 워크플로를 그대로 따라올 수 있다.
학습까지 해 보고 싶다면
fal.ai
내 이미지를 올려 학습시키고 LoRA 파일만 받아온다. 24GB급 그래픽카드가 없어도 결과물은 같다.
인터넷이 느리면
USB로 받아 가기
모델 파일을 USB에 담아 왔다. 복사해서 위에 적힌 폴더에 넣으면 다운로드를 건너뛴다.
오늘 목표는 전원이 학습을 끝내는 것이 아니다. 왜 필요한지 납득하고, 환경이 갖춰진 데스크탑에서 다시 해 볼 수 있는 경로를 알아 보는 것 이다.
맥이거나 그래픽카드가 없을 때
설치하지 않고 브라우저에서 그대로 쓴다
ComfyUI를 만든 곳에서 직접 운영하는 클라우드다. 같은 화면, 같은 노드가 웹에서 열린다. 오늘 배우는 내용을 그대로 따라올 수 있다.
이런 경우
맥 · 그래픽카드가 없는 노트북 · 설치가 막힌 경우
바로 쓸 수 있다
모델과 커스텀 노드가 이미 깔려 있어 다운로드를 기다리지 않는다
쓴 만큼 요금이 나간다. 워크플로를 돌리는 동안만 계산되고, 켜 두기만 한 시간은 빠진다.
준비 4 · 다운로드가 느릴 때
USB에서 모델 파일만 복사해 넣는다
이미지를 만드는 모델
z_image_turbo_bf16
USB의 같은 이름 파일을 D:\sm\ComfyUI\models\diffusion_models 안에
글을 알아듣는 부분
qwen_3_4b
USB의 같은 이름 파일을 D:\sm\ComfyUI\models\text_encoders 안에
그림으로 바꾸는 부분
ae
USB의 같은 이름 파일을 D:\sm\ComfyUI\models\vae 안에
폴더를 찾아 들어가기 번거로우면 Codex에게 시켜도 된다. USB에 있는 models 폴더를 D:\sm\ComfyUI\models 안에 그대로 합쳐 넣어줘. 같은 이름의 파일이 이미 있으면 건너뛰고, 다 끝나면 어떤 파일이 어디로 갔는지 알려줘.
복사가 끝나면 ComfyUI 화면을 새로고침한다. 모델 목록에 파일 이름이 보이면 준비가 끝난 것이다.
들어가기 : 오늘의 질문
작가의 조형 언어를 생성형 AI 안에서 어떻게 표현 할 수 있을까?
형태재질감색분위기
전통 돌조각
작업 속에 반복해 온 작가의 조형언어
치유하다_안녕? 사암, 검정 화강석 치유하다 사암 · 봉합과 리본치유하다_내 생일 사암, 검정 화강석너에게 줄 수 있는 것 사암, 검정 화강석
재료
천연 색상의 사암
봉합선
상처와 치유를 시각화
형태
둥근 몸과 짧은 팔다리.
금속 리본
우레탄 도장 된 금속 리본.
먼저 범용 도구로 만들어봤다
이미지는 잘 나오는데, 내 작품 같지는 않았다
프롬프트를 노력해서 써도 원하는 형태와 재질감이 나오지 않았다.
참조 이미지를 넣어도 재질감이 표현 되지 못했다.
한 장은 마음에 들어도 다음 장에서 이어지지 않았다.
문제는 이미지의 완성도가 아니라, 내 작업의 특징을 계속 유지하기 어렵다는 데 있었다.
같은 프롬프트, 네 가지 도구
범용 이미지 생성형 인공지능은 이렇게 나왔다
나노바나나GPT ImageZ-Image 미드저니
stone teddy bear sculpture with a rough carved stone-like surface, stitched seam boundaries, rounded sculptural body, glossy metal ribbon, white studio background, front view, soft studio lighting
돌 느낌도 나고 봉합선도 들어갔다. 그런데 네 장 모두 본인의 조형언어와 다르고, 매번 다른 스타일의 이미지가 나온다.
범용 도구가 잘하는 것, 하지 못하는 것
멋지고 다양한 결과를 빠르게 탐색할 수 있다. 다만 작가 개인의 조형언어는 학습되어 있지 않다.
01
탐색은 확실히 빠르다
떠오른 것을 바로 던져 보고, 아닌 방향은 그 자리에서 버린다.
02
평균의 감각으로 수렴한다
많이 학습한 경향을 따라간다. 누구에게나 그럴듯하지만 누구의 것도 아니다.
03
기준이 남지 않는다
한 장이 잘 나와도 다음 장의 기준이 되지 못한다. 형태와 재질감을 매번 다시 설명해야 한다.
그래서 프롬프트를 더 잘 쓰는 쪽이 아니라, 내 작업을 따로 학습시키는 쪽을 택했다.
FINE-TUNING파인튜닝
이미 잘 만드는 모델에 내 조형언어를 추가로 학습시켜 나만의 도구로 만드는 일
모델을 처음부터 만드는 것이 아니다. 이미 배워 둔 모델에 내 형태와 재질감을 얹는다.
범용 모델
내 작품을 학습한 LoRA
내 작품으로 학습시킨 LoRA 적용
나의 조형언어를 기반으로 내가 만들지 않은 형상도 내 스타일로 표현된다
그 과정을 직접 다루기 위해
이미지 생성부터 LoRA 적용과 테스트까지 ComfyUI를 사용했다
결과만 받아 보는 화면이 아니라, 만들어지는 과정을 열어 놓고 고칠 수 있는 환경이 필요했다.
요즘 공식 워크플로는 노드 하나다
Text to Image (Z-Image-Turbo) 한 덩어리에 프롬프트 · 크기 · Seed · Steps · 모델 · LoRA까지 다 들어 있다. 앞 화면처럼 여러 노드를 직접 잇지 않아도 된다 — 대신 안에서 무슨 일이 일어나는지는 알고 써야 한다.
ComfyUI란?
이미지가 만들어지는 한 단계씩을 상자로 놓고 선으로 이어 붙이는 프로그램
모델이미지를 만드는 기본 능력
→
프롬프트만들고 싶은 내용
→
생성노이즈에서 형상 만들기
→
이미지 변환눈에 보이는 이미지로
→
저장결과와 설정 남기기
상자(노드) = 한 단계
모델을 불러오는 상자, 문장을 읽는 상자, 그림을 만드는 상자가 따로 있다. 각 상자 안에 그 단계의 설정값이 들어 있다.
선 = 그 사이로 흐르는 정보
앞 상자의 결과가 선을 타고 다음 상자로 넘어간다. 그래서 어디를 바꾸면 무엇이 달라지는지 눈으로 보인다.
처음부터 상자를 만들 필요는 없다. 준비된 워크플로를 불러와 모델·프롬프트·크기·생성 버튼부터 익히고, 필요한 부분만 하나씩 바꾼다.
쓰기 전에 알아둘 것
다시 쓰고 비교하기 좋다. 대신 개념과 사양의 영향을 받는다
좋은 점
모델부터 저장까지 흐름이 한 화면에 보인다
워크플로를 저장해 그대로 다시 쓴다
Seed를 고정하고 한 설정만 바꿔 비교한다
Queue와 Batch로 여러 장을 자동 생성한다
감안할 점
처음 보는 말이 많다 — 모델 · 레이턴트 · VAE · 샘플러 · 시드
GPU와 VRAM에 따라 가능한 범위가 달라진다
모델 하나가 수 GB라 저장공간을 많이 쓴다
업데이트 뒤 노드·모델 호환 문제가 생길 수 있다
막히는 지점은 대부분 파일 위치와 오류 메시지다. 그건 오늘 Codex와 함께 푼다.
01
Z-image 를 알아보고 첫 이미지를 만든다
설치 확인그대로 실행한 단어만 바꿔 다시여기까지 1시간
오늘의 바탕 모델
Z-Image — 내 컴퓨터에서 돌리는 공개 이미지 생성 모델
만든 곳
알리바바 통이
2025년 말 공개
규모
60억 파라미터
가정용 GPU를 염두에 둔 크기
라이선스
Apache-2.0
상업적 이용도 가능하다
두 가지 버전
Base · Turbo
둘 다 학습에 쓸 수 있다. 오늘은 8스텝 고속판인 Turbo
‘오픈’이 핵심이다. 닫힌 모델과 달리 그 위에 내 스타일을 얹을 수 있고, 내 이미지를 넣어 변형할 수도 있다. 그래서 오늘 내 LoRA를 학습시킬 바탕 모델로 Z-Image를 쓴다.
같은 프롬프트 · 같은 Seed · 세 가지 모델
Turbo · Base · GPT Image가 같은 문장을 어떻게 읽는지 본다
Z-Image Turbo
8 step · CFG 1.0 내 컴퓨터에서 30초
Z-Image Base
30 step · CFG 4.0 같은 모델의 원본 버전
GPT Image 2
설정 비공개 남의 서버, 값을 만질 수 없다
Z-Image 둘은 Seed까지 같게 두었다. GPT는 seed·steps·CFG를 열어 주지 않아 조건을 맞출 수 없다 — 그것 자체가 차이다.
모델 파일 · 두 가지 버전
같은 Z-Image지만 쓰임이 다르다 오늘 쓰는 것은 Turbo
오늘 이것
Z-Image Turbo
Steps 8 — 여덟 번만 걷어내면 그림이 나온다. 1024 크기로 30초 내외, 8GB 그래픽카드에서도 돌아간다.
적은 횟수로 결과가 나오도록 압축한 버전이다. 빠르게 여러 번 시도해 볼 수 있어 수업과 실험에 맞는다.
사양이 되면
Z-Image Base
Steps 28~50 — 여러 번 걷어내야 한다. 같은 그림 한 장에 Turbo의 서너 배 이상 걸린다.
속도를 위해 줄이지 않은 원본이라 표현 범위가 넓고 값을 조절할 여지가 많다. 장비에 여유가 생기면 같은 데이터로 Base에도 학습시켜 비교해 볼 만하다.
LoRA 학습은 Turbo에서도 된다. 오늘 만들 LoRA도 Turbo 기준이다. 대신 학습한 모델과 쓰는 모델은 같아야 한다 — Base로 학습한 LoRA를 Turbo에 얹으면 결과가 흐트러진다.
그래서 오늘은 이렇게 시작한다
빈 화면에서 상자를 하나씩 꺼내 잇지 않는다 Codex로 공식 Z-Image 워크플로를 실행해 본다
ComfyUI를 실행하고 브라우저를 열어줘. 공식 Z-Image 워크플로(Text to Image · Z-Image-Turbo)를 불러와서 바로 실행할 수 있는 상태로 만들어줘. 빠진 모델이나 노드가 있으면 무엇이 없는지 알려주고, 받을 수 있으면 받아서 넣어줘.
오늘 다 외우는 것이 목표가 아니다. 실행해 보고, 나중에 필요한 페이지를 다시 찾아볼 수 있으면 된다.
손대지 않고 실행하면 이 화면이 나온다
공식 워크플로에 들어 있는 예시 문장 그대로다 — Latina female with thick wavy hair, harbor boats and pastel houses behind. 여기까지 나왔다면 설치 · 모델 · 폴더가 전부 맞은 것이다.
앞으로는 이 노드를 기준으로 본다
상자 하나에 오늘 만질 것이 전부 들어 있다
프롬프트
만들고 싶은 장면을 적는 칸. 위쪽 넓은 상자.
width · height
이미지 크기. 기본 1024 × 1024.
seed
시작 노이즈의 번호. 같은 값이면 같은 구도
steps
몇 번 다듬을지. Turbo는 8이 기준.
unet_name
그림을 만드는 본체 모델.
clip_name
내 문장을 읽는 부분.
vae_name
계산 결과를 그림으로 바꾸는 부분.
뒤의 세 파일(unet · clip · vae)이 아까 폴더에 넣은 그 파일들이다. 앞의 네 가지부터 하나씩 바꿔 본다.
첫 이미지 · 두 번만 실행해 본다
먼저 손대지 않고 실행하고, 그다음 한 단어만 바꿔 다시 실행한다
1회차 · 아무것도 고치지 않는다
실행 버튼만 누른다
공식 워크플로에는 예시 프롬프트가 이미 들어 있다. 문장을 건드리지 말고 실행만 눌러 그림이 나오는지 본다.
그림이 나왔다면 설치 · 모델 · 폴더 경로가 전부 맞은 것이다. 오늘의 첫 관문은 여기까지다.
2회차 · 한 군데만 바꾼다
인물을 바꿔 본다
프롬프트에서 인물 부분만 Latin woman → Korean woman 으로 고치고 다시 실행한다. 나머지 값은 그대로 둔다.
한 단어가 결과를 어떻게 바꾸는지 눈으로 본다. 프롬프트를 읽는 감은 여기서 시작된다.
여기까지가 첫 한 시간의 목표다 — 개념을 이해하고, 설치를 확인하고, 내 손으로 이미지를 두 번 만들어 보는 것.
어디에 설치했는지 기억해 둔다
모델과 워크플로를 넣을 위치는 설치 폴더 안에 있다
D:\sm/
└─ ComfyUI/
├─ models/diffusion_models/# 이미지를 만드는 모델
├─ models/text_encoders/# 글을 알아듣는 부분
├─ models/vae/# 그림으로 바꾸는 부분
├─ models/loras/# LoRA 파일
└─ output/# 만든 이미지가 쌓이는 곳
파일을 손으로 옮길 일이 생기면 이 구조를 보고 넣는다. 어디에 뭘 넣을지 헷갈리면 Codex에게 물어봐도 된다.
설치 폴더는 D:\sm처럼 여유 있는 드라이브에 둔다. 나중에 옮기면 경로가 꼬인다.
ComfyUI 실행
다음부터는 바탕화면의 실행 파일만 더블클릭한다
01
ComfyUI 실행.bat바탕화면에서 더블클릭
02
검은 창켜지는 중 — 닫지 않는다
03
브라우저127.0.0.1:8188 자동 열림
04
끝낼 때검은 창을 닫는다
켜지는 데 시간이 걸린다
모델을 읽어 올리느라 10~20초쯤 걸린다. 검은 창이 멈춘 것처럼 보여도 기다린다.
브라우저가 안 열릴 때
주소창에 127.0.0.1:8188을 직접 친다. 그래도 안 되면 검은 창에 뜬 오류를 Codex에게 그대로 붙여 넣는다.
02
방금 사용한 워크플로를 다시 본다
노드의 역할입력과 출력자주 바꾸는 값나중에 찾는 참고 페이지
확산 모델 · Diffusion
또렷한 이미지를 안개로 덮는 과정을 거꾸로 익혀서 안개(노이즈)에서 새 이미지를 꺼낸다
왼쪽이 Steps 1, 오른쪽으로 갈수록 여러 번 걷어낸 결과다. 걷어내는 방향을 정하는 것이 프롬프트, 안개의 첫 모양이 Seed, 몇 번 걷어낼지가 Steps다.
Z-Image · Stable Diffusion · FLUX가 모두 이 계열이다. 픽셀을 직접 그리지 않고 압축된 공간에서 계산하기 때문에 빠르다.
프롬프트
만들고 싶은 장면을 한 칸에 적는다
적는 순서
대상 → 장소 → 포즈 → 스타일→ 분위기 → 빛 → 색 → 카메라 한 번에 다 쓰지 말고 필요한 것부터 하나씩 더해 나간다. 한국어도 가능
빼고 싶은 것을 적는 칸은 없다
통합 노드에는 Negative 칸이 없다. 빼야 할 것이 생기면 노드를 나눈 워크플로에서 따로 쓴다.
나중에 내 작품을 학습시킬 때 쓰는 캡션도 같은 문법이다. 여기서 문장 쓰는 감각을 들여 두면 그대로 이어진다.
프롬프트 쓰는 법
요소별로 나눠서 적는다. 한국어도 가능
대상한국인 여성분위기조용하고 따뜻한장소오래된 카페 창가빛창에서 들어오는 부드러운 옆빛포즈의자에 앉아 창밖을 바라본다색바랜 듯한 갈색 톤스타일필름 사진 느낌카메라50mm 렌즈, 얕은 심도
오래된 카페 창가 의자에 앉아 창밖을 바라보는 한국인 여성, 필름 사진 느낌, 조용하고 따뜻한 분위기, 창에서 들어오는 부드러운 옆빛, 바랜 듯한 갈색 톤, 50mm 렌즈로 찍은 얕은 심도
고치고 싶으면 그 요소의 말만 바꾸고 처음부터 다시 만든다. ‘부드러운 옆빛’ → ‘뒤에서 들어오는 강한 역광’처럼. “여백을 늘려줘”처럼 고쳐 달라는 말은 통하지 않는다 — 앞 그림을 기억하지 못하고 매번 백지에서 새로 만들기 때문이다.
width · height
만들 이미지의 가로와 세로를 정한다
정사각 · 기본값
1 : 1
1024 × 1024
사진 가로
3 : 2
1216 × 832
와이드 가로
16 : 9
1344 × 768
인물 세로
4 : 5
896 × 1152
사진 세로
2 : 3
832 × 1216
세로 와이드
9 : 16
768 × 1344
숫자는 64의 배수로 맞춘다. 넓이가 늘어난 만큼 시간과 VRAM도 늘어나므로, 크게 뽑고 싶으면 여기서 키우기보다 1024로 만든 뒤 업스케일하는 편이 빠르고 안정적이다.
seed · steps
결과를 바꿀 때는 한 번에 하나씩 바꾼다
seed — 시작 노이즈의 번호
같은 값이면 같은 구도가 다시 나온다. 프롬프트만 비교하고 싶을 때는 고정하고, 새 구도를 보고 싶을 때만 바꾼다.
steps — 몇 번 걷어낼지
Turbo는 8이 기준이다. 올린다고 계속 좋아지지는 않고 시간만 늘어난다. 4 · 8 · 12로 비교해 본다.
Guidance · Sampler · Scheduler · Denoise는 통합 노드에 나와 있지 않다. 노드를 나눠 쓰는 워크플로에서 만나게 되며, 그때도 처음에는 기본값을 그대로 둔다.
unet_name · clip_name · vae_name
노드 맨 아래 세 줄이 이미지를 생성하는 주요 모델들이다.
unet_name
노이즈에서 형태와 장면을 만들어내는 본체. models/diffusion_models/
clip_name
내 문장을 모델이 쓰는 숫자로 바꾼다. models/text_encoders/
vae_name
계산 결과를 눈에 보이는 그림으로 바꾼다. models/vae/
셋 중 하나라도 비어 있거나 이름이 다르면 실행할 때 빨간 오류가 난다.
출력과 저장
노드의 IMAGE 출력이 이미지 저장 노드로 이어진다
파일은 어디에 쌓이나
설치 폴더 안 ComfyUI/output/에 자동으로 저장된다. 파일명 접두사를 바꿔 두면 나중에 찾기 쉽다.
PNG 안에 워크플로가 들어간다
저장된 PNG를 ComfyUI 화면에 끌어놓으면 그때 쓴 노드와 값이 그대로 열린다. 결과물이 곧 기록이다.
만든 것 다시 보기 · 여러 장 만들기
만든 이미지는 전부 화면 안에 남아 있다
에셋 · Assets
키보드 A 를 누른다
지금까지 만든 이미지가 갤러리처럼 쭉 나온다. 폴더를 찾아 들어갈 필요가 없고, 마음에 드는 것을 화면으로 끌어오면 그때 쓴 설정이 그대로 열린다.
연속 생성
실행 옆 숫자를 4로 두면 네 번 이어서 만든다. 매번 다른 seed라 같은 문장으로 여러 후보를 한 번에 본다.
익숙해지면 쓰는 기능
여러 장을 이어서 만들고, 좋았던 설정은 저장해 다시 쓴다
자동화 · Codex
반복은 Codex에게 맡긴다
프롬프트를 바꿔 가며 여러 장, seed를 하나씩 올려 가며 스무 장 — 이런 반복 작업은 말로 시키면 된다. Codex가 워크플로를 직접 고쳐서 돌리고 결과를 폴더에 쌓아 준다.
프롬프트에서 ‘빛’ 부분만 다섯 가지로 바꿔서 각각 두 장씩 만들고 폴더에 정리해줘
저장과 재사용
설정을 남겨 둔다
JSON으로 저장 — 노드·연결·설정값 전부
생성된 PNG에도 워크플로가 들어 있다
모델·LoRA의 파일명 · 버전 · 라이선스를 기록
좋았던 설정에는 목적과 날짜가 보이는 이름을
03
LoRA를 적용해 본다.
LoRA 이해다운로드폴더적용강도 비교
LoRA · Low-Rank Adaptation
기본 모델이 모르는 것만 따로 배워서 덧붙이는 파일
기본 모델의 한계
넓게 알지만, 특정한 것은 모른다
수많은 이미지를 넓게 배웠기 때문에 사람 · 풍경 · 사물은 잘 만든다. 하지만 내 작품, 특정 작가의 조형언어, 특정 캐릭터는 본 적이 없다. 문장을 아무리 길게 써도 나오지 않는다.
그래서 LoRA
본체는 그대로, 보조팩만 갈아 끼운다
모델 전체를 다시 학습시키는 건 장비도 시간도 감당이 안 된다. LoRA는 모델을 건드리지 않고 필요한 것만 담은 작은 파일을 얹는 방식이다. 렌즈처럼 뺐다 꼈다 한다.
이름은 Low-Rank Adaptation의 줄임말로, 모델 전체가 아니라 작은 일부만 골라 고친다는 뜻이다. 그래서 파일이 수십~수백 MB로 가볍고, 여러 개를 겹쳐 쓸 수도 있다.
단독으로 쓰는 모델이 아니다. 어떤 기본 모델을 기준으로 학습됐는지 반드시 확인한다.
LoRA 스타일 비교
모델은 그대로 두고 표현 방식만 갈아 끼운다
여섯 장 모두 같은 문장, 같은 Seed다. 바꾼 것은 LoRA 하나뿐이다.
Base Z-Image — LoRA 없음. 여기가 기준점이다.
Realistic Snapshot · Anime Dream — 사진과 그림으로 갈린다.
3D Animation · Watercolor · Pixel Art — 재료와 화법 자체가 바뀐다.
같은 소재라도 어떤 LoRA를 얹느냐에 따라 완전히 다른 그림이 된다. 강도(Strength)도 함께 적어 두면 나중에 재현하기 쉽다.
공개 LoRA 찾기 · Civitai
Civitai에서 받되 호환성과 사용 조건을 먼저 확인한다
어떤 기본 모델용인지
권장 강도와 Trigger Word가 있는지
상업적 이용과 재배포가 가능한지 — 라이선스는 모델마다 다르다
예시 이미지가 어떤 설정으로 만들어졌는지
파일 형식이 .safetensors인지
마음에 드는 것을 찾으면 주소만 복사해서 Codex에게 주면 된다. 받아서 폴더에 넣고 워크플로에 적용하는 것까지 알아서 한다.
LoRA 파일 넣기
주소만 넘기면 받는 것부터 적용까지
권장 · Codex에게 맡기기
주소를 복사해서 준다
이 주소의 LoRA를 받아서 ComfyUI의 loras 폴더에 넣고 지금 워크플로에 적용해줘. 권장 강도도 같이 알려줘.
폴더 위치를 몰라도 되고, 목록 새로고침까지 알아서 한다.
직접 넣을 때
models/loras 에 복사
확장자가 .safetensors인지 확인
출처와 버전이 보이게 파일명 정리
설치 폴더 안 models/loras에 복사
ComfyUI에서 Refresh 또는 재실행
목록에 안 보이면 폴더 위치, 하위 폴더 인식, 확장자를 확인한다. 화면에 뜬 말을 그대로 Codex에게 붙여 넣어도 된다.
워크플로에 LoRA 붙이기
노드를 직접 잇지 않는다 Codex에게 고쳐 달라고 한다
기본 워크플로에는 LoRA 자리가 없다. 예전에는 LoRA Loader 노드를 꺼내 모델과 CLIP 선을 다시 이어야 했지만, 지금은 말로 부탁하면 된다.
지금 열려 있는 Z-Image 워크플로에 LoRA를 적용할 수 있게 수정해줘. 기본 워크플로는 그대로 저장해 두고, LoRA를 넣은 것은 새 워크플로로 따로 저장해줘.
고친 워크플로를 바로 열어 준다. 통합 노드 맨 아래에 LoRA mo…와 LoRA strength 두 줄이 생긴 것만 확인하면 된다.
강도는 비교해서 정한다
같은 프롬프트와 Seed에서 LoRA 강도만 바꿔본다
없음기본 모델 기준
0.4특징이 약하게 보임
0.7형태와 장면의 균형
1.0특징이 강하지만 과할 수 있음
좋은 강도는 숫자로 정해져 있지 않다. 내가 원하는 특징이 보이면서 장면의 다양성이 유지되는 지점을 찾는다.
04
내 작품으로 나만의 LoRA를 만든다
목적이미지캡션학습테스트적용
내 LoRA 만들기
앞에서는 공개 LoRA를 받아 얹었다 이제 그 파일을 직접 만든다
필요한 것 ①
이미지
학습시킬 작업 사진. 폴더 하나에 모아 둔다.
필요한 것 ②
캡션
이미지마다 짝이 되는 txt 파일. 무엇을 조건으로 분리할지 적는다.
그다음
학습
둘을 넣고 돌리면 .safetensors 파일 하나가 나온다.
준비물은 이미지와 캡션, 이 둘뿐이다. 나머지는 도구가 한다.
LoRA 학습의 전체 과정
여섯 단계 가운데 앞의 네 단계가 결과를 정한다
01
목적무엇을 학습시킬지
02
이미지모으고 골라내기
03
파일 정리이름 · 형식 · 크기
04
캡션만들고 사람이 검토
05
학습fal.ai 또는 AI Toolkit
06
적용ComfyUI에서 확인
가장 중요한 것은 학습 데이터다. 모델은 계속 바뀌고 학습 방법도 계속 바뀐다. 그때마다 처음부터 다시 만들 필요는 없다. 잘 정리된 이미지와 캡션은 그대로 남아서, 새 모델과 새 도구에 다시 넣으면 된다.
이미지 모으기
공식 최소는 10장 실제로는 30~50장에서 시작한다
장수
적게 시작해서 늘린다
fal.ai의 Z-Image 학습기는 “최소 10장, 많을수록 좋다”고 안내한다. 상한은 어느 공식 문서에도 없다. 처음에는 30~50장으로 한 번 돌려 보고, 결과를 본 뒤 늘리는 편이 빠르다.
“이미지 한 장당 스텝 몇 회” 같은 공식은 근거가 없다. 관행일 뿐이다.
빼야 할 것
이런 이미지는 뺀다
흐릿하거나 심하게 압축된 사진
거의 같은 컷의 연속 촬영
로고 · 자막 · 워터마크가 박힌 이미지
작품이 아주 작게 나온 전시 전경
“내 스타일 전체”는 첫 학습의 목표로 너무 크다. 하나의 대상, 하나의 재료감처럼 무엇을 성공으로 볼지 분명한 쪽부터 시작한다.
데이터셋 구성
같은 대상, 다른 상황
형태와 재료감은 일정하게 두고 배경 · 시점 · 조명 · 화면 안 크기는 서로 다르게 모은다.
일정해야 하는 것 — 학습시킬 형태, 재료, 표면
달라야 하는 것 — 배경, 시점, 조명, 크기
배경이 전부 흰색이면 흰 배경까지 함께 학습한다. 반대로 대상이 매번 다르면 무엇이 공통 특징인지 잡지 못한다.
예시 · 박성하 LoRA를 학습시킬 때 실제로 쓴 데이터셋
폴더와 파일 정리
폴더 하나에 모으고 이름부터 정리한다
파일명은 영문 · 숫자
한글 파일명이 규격 위반은 아니지만, AI Toolkit에서 학습이 시작되지 않는 버그가 보고돼 있다. image_01.jpg처럼 바꾼다.
webp는 쓰지 않는다
지원 형식은 jpg · jpeg · png뿐이다. webp는 문제가 있다고 공식 문서에 적혀 있다.
작은 이미지는 뺀다
학습기는 이미지를 키우지 않는다. 작은 것은 그대로 저해상도로 학습되므로 짧은 변 512px 미만은 빼는 편이 낫다.
D:\sm\dataset 폴더의 이미지를 정리해줘. 파일 이름을 image_01.jpg 형식으로 순서대로 바꾸고, webp는 png로 바꾸고, 짧은 변이 512픽셀보다 작은 것은 따로 빼줘.
크롭이나 리사이즈는 하지 않아도 된다. 학습기가 알아서 줄여 비율별로 나눠 담는다.
캡션 제작 유의사항
캡션은 설명문이 아니라 무엇을 조건으로 뺄지 정하는 일이다
적는다 — 이미지마다 달라지는 것
자세와 시점 정면 · 측면 · 3/4
배경과 공간
조명과 그림자
함께 놓인 물체
캡션에 적힌 것은 “이번 이미지의 조건”으로 분리되어, 나중에 프롬프트로 바꿀 수 있게 된다.
적지 않는다 — 항상 같은 것
학습시키려는 형태와 재료 그 자체
모든 이미지에 반복되는 표면 특징
대신 트리거 워드 하나로 묶는다. 매번 설명해 두면 그 설명을 써야만 나온다.
트리거 워드는 흔하지 않은 단어로 정한다. 흔한 단어를 쓰면 모델이 원래 알던 뜻과 섞인다.
캡션 지침 · 완성본
공통 · 보조 · 명령을 하나로 붙여서 준다
공통은 그대로, 보조만 바꾼다 — 작업이 달라지면 보조 지침만 다시 쓰면 된다.
핵심은 두 가지 — “추측하지 마라”와 “한 장만 보고 판단하라”. 이걸 빼면 앞 이미지를 기억한 것처럼 지어낸다.
보조에 채울 것 — 무엇이라 부를지, 표면을 어떻게 쓸지, 빠뜨리면 안 될 요소.
한글 번역까지 받는다 — 영문만 늘어놓으면 그냥 넘어간다. 한글로 봐야 틀린 곳이 눈에 들어온다.
인공지능은 재료를 모른다. 부를 이름을 정해 주는 것이 보조 지침이 하는 일이다.
dataset 폴더의 이미지를 하나씩 열어서 보고, 이미지와 같은 이름의 .txt 파일을 각각 만들어줘.
캡션은 영문 한 문단으로 쓰고, 아래 지침을 지켜서 써줘.
[ 공통 지침 ]
· 주요 대상의 종류와 수량, 자세, 방향, 배치, 형태, 색상, 재질, 표면 질감, 장식과 부속 요소를 설명한다.
· 배경 · 조명 · 촬영 각도는 실제로 보이고, 형태나 배치를 설명하는 데 의미가 있을 때만 포함한다.
· 이미지만으로 확인하기 어려운 것은 추측하지 않는다. 불확실하면 더 넓고 정확한 명칭을 쓴다.
· 길이나 단어 수를 억지로 맞추지 않고, 같은 내용을 반복하지 않는다.
· 감상평이나 추상적인 평가보다 관찰할 수 있는 사실을 우선한다.
· 제목 · 번호 · 부가 설명 없이 캡션 하나만 출력한다.
[ 보조 지침 ]
· 주요 대상이 확인되면 동물 형상의 자연석 조각. 종류가 분명하면 곰 형상의 자연석 조각처럼 구체적으로 쓴다.
· 표면은 털 질감을 연상시키는 거친 표면으로 설명한다.
· 박음질된 스티치가 보이면 위치와 눈에 보이는 색상을 함께 쓰고, 색이 분명하지 않으면 추측하지 않는다.
· 리본이 보이면 색을 입힌 스테인리스 스틸 금속 리본으로 표현한다.
· 여러 대상이 함께 보이면 각각의 수량 · 크기 · 자세와 배치 관계를 쓴다.
끝나면 이미지마다 어떤 캡션을 썼는지 한글 번역과 함께 채팅창에 보여줘.
사람이 반드시 확인한다
인공지능은 형상을 작가의 의도와 다르게 읽는다
인공지능이 쓴 캡션 · 예시
“분홍색 곰 인형이 의자에 앉아 있다. 부드러운 천 재질에 박음질 선이 보인다.”
사진만 보면 봉제 인형이다. 이대로 학습하면 모델은 인형 만드는 법을 배운다.
사람이 고친 캡션
“곰 형상의 자연석 조각. 털 질감을 연상시키는 거친 돌 표면에 붉은 박음질 선이 이어진다.”
무엇으로 만들었는지는 만든 사람만 안다. 여기서 바로잡지 않으면 끝까지 잘못 간다.
추상화되거나 단순화된 작업일수록 오독이 커진다. 인공지능은 사진에 보이는 것만 판단하고, 그것이 무엇으로 만들어졌고 무엇을 의도했는지는 모른다.
학습을 돌릴 곳
준비 과정은 같다 돌리는 곳만 장비에 따라 갈린다
대부분 이쪽 · fal.ai
클라우드에서 학습
이미지와 캡션을 zip으로 올리면 끝난다. 내 컴퓨터 사양과 무관하고 1,000스텝에 약 $2.26이다.
올린 데이터의 보관 방식과 약관을 확인한다.
장비가 있다면 · AI Toolkit
내 컴퓨터에서 학습
데이터가 밖으로 나가지 않고 설정을 직접 잡을 수 있다. 대신 VRAM과 시간이 필요해 4090에서도 몇 시간이 걸린다.
설치와 실행은 Codex에게 맡긴다.
어느 쪽이든 넣는 것은 똑같다 — 이미지와 같은 이름의 txt가 들어 있는 폴더 하나.
fal.ai ① 접속
가입하고 주소창에 z-image-trainer를 찾는다
01
fal.ai 가입구글 계정으로 로그인
02
결제 수단 등록쓴 만큼 결제된다
03
모델 검색z-image-trainer
fal.ai/models/fal-ai/z-image-trainer
화면 왼쪽이 입력(Input), 오른쪽이 학습 기록이다. 왼쪽만 채우면 된다.
fal.ai ② 올리고 설정하고 받는다
왼쪽 폼의 네 칸만 채운다
Image Data Url
Pick a .zip file을 눌러 이미지와 txt를 함께 압축한 zip을 올린다 — 폴더째 압축하지 말고 파일들을 선택해 압축한다
Steps
기본 1000. 100 단위로 조절하며 최대 10,000까지 — 1,000스텝 약 $2.26
Sign in to run을 누르면 시작된다. 끝나면 LoRA 파일 링크가 나오고, 받아서 models/loras에 넣는다.
AI Toolkit · 장비가 있는 경우
브라우저로 여는 학습 전용 프로그램
대시보드
지금 돌고 있는 학습
새 학습
모델 · 데이터셋 · 설정
작업 큐
여러 학습을 줄 세워 실행
데이터셋
이미지와 캡션 확인
ostris가 만든 공개 도구다. ComfyUI처럼 켜 두면 브라우저에서 열린다. Z-Image · FLUX · Qwen 등 여러 모델을 지원하며, 목록에서 고르기만 하면 그 모델에 맞는 학습 방식이 자동으로 잡힌다.
AI Toolkit 설치와 실행
여기서도 Codex에게 시킨다
D 드라이브에 ai-toolkit을 설치해줘. 파이썬 환경까지 만들고, 웹 화면이 브라우저에서 열리는 상태로 만들어줘. 다음부터 혼자 켤 수 있게 바탕화면에 실행 파일도 만들어줘.
설치될 때
시간이 걸린다
파이썬 환경과 라이브러리를 받는다. ComfyUI 설치와 비슷하거나 조금 길다.
실행
검은 창 + 브라우저
ComfyUI와 같은 방식이다. 검은 창을 닫으면 학습도 멈춘다.
막히면
오류를 그대로 붙여 넣는다
설치 단계의 오류는 대부분 Codex가 읽고 바로 해결한다.
학습을 돌리는 동안에는 그래픽카드를 거의 다 쓴다. ComfyUI는 꺼 두는 편이 낫다.
AI Toolkit 학습 설정
권장값에서 시작하고 하나씩만 바꾼다
Base Model
ComfyUI에서 쓸 모델과 같은 것
Dataset
이미지와 txt가 든 폴더
Resolution
512 · 768 · 1024 여러 개 동시 가능
Steps
500~4,000공식 예제 기준 · 이미지 10~30장일 때다. 장수가 늘면 스텝도 같이 늘려야 한다
Learning rate
1e-4
Batch size
1부터 올린다
Save interval
중간 저장 간격
VRAM이 모자라면 해상도를 줄이기 전에 FP8 양자화 · 저VRAM 모드 · Batch 1부터 확인한다.
학습 중 · 중간 저장본 비교 · 예시 · Z-Image Base 학습
학습량에 따른 이미지 변화
위 PARKSEONGHA rabbit-shaped stone sculpture and bear-shaped stone sculpture placed side by side, rough carved stone-like surfaces, patchwork seam lines, colored metal ribbons, white cube pedestal, front three-quarter view 아래 PARKSEONGHA brown bear-shaped stone sculpture sitting on a black chair, rough stone-like texture, red stitching lines, metallic ribbons, dark background and outdoor floor, front view
프롬프트와 Seed(42)를 고정하고 학습량만 늘렸다. 숫자 아래는 그 지점까지 걸린 시간이다. RTX 4090에서 1,000스텝당 약 28분. 이 예시는 Base로 학습한 것이다 — 오늘 실습은 Turbo다.
학습 중 · 5,000 → 35,000 · 예시 · Z-Image Base 학습
35,000스텝까지의 변화
프롬프트와 Seed는 앞 화면과 같다. 이 학습은 149장을 235번씩 본 것이고, 16시간 6분이 걸렸다.
스텝 읽는 법
몇 스텝이 아니라 한 장을 몇 번 보느냐가 정한다
한 장을 본 횟수 = 스텝 ÷ 이미지 수(batch 1 기준)
스텝
20장을 모았다면
149장을 모았다면
1,000
한 장을 50번
한 장을 6.7번
4,000
한 장을 200번
한 장을 27번
20,000
한 장을 1,000번
한 장을 134번
35,000
한 장을 1,750번
한 장을 235번
같은 4,000스텝이 7배 차이
20장이면 200번, 149장이면 27번이다. 스텝만 보고 많다 적다를 말할 수 없다.
오늘 실습은 몇 번인가
30~50장을 모아 fal 기본 1,000스텝이면 한 장을 20~33번 보는 셈이다.
완성한 LoRA 적용과 확인 · 넣는 방법은 공개 LoRA와 같다
조건을 고정하고 복제가 아니라 확장인지 본다
LoRA 없음
학습한 LoRA 적용
트리거 워드
캡션 맨 앞에 붙였던 그 단어를 프롬프트에도 넣어야 학습한 특징이 나온다.
고정할 것
프롬프트 · Seed · 모델 · 크기를 똑같이 두고 LoRA만 켜고 끈다.
잘 된 신호
학습에 없던 자세와 공간에서도 형태와 재료감이 유지된다.
과적합 신호
비슷한 구도만 반복되고 프롬프트를 바꿔도 변화가 작다.
시작하기 전에 확인할 것
권리와 비용은 먼저 확인한다
저작권
내가 만든 이미지인가
학습에 넣는 이미지는 직접 만들었거나, 허락을 받았거나, 조건이 분명한 자료여야 한다. 인터넷에서 모은 남의 작품으로 학습한 LoRA는 공개하거나 판매할 수 없다.
내 컴퓨터에서 돌렸다고 해서 저작권 문제가 사라지지는 않는다.
초상권
사람 얼굴이 들어 있나
작업 사진에 관람객이나 조수의 얼굴이 찍혀 있을 수 있다. 클라우드에 올리기 전에 확인하고, 필요하면 빼거나 가린다.
특정 인물을 학습시키는 것은 별도의 동의가 필요한 일이다.
비용
클라우드는 돈이 든다
fal.ai 학습 — 1,000스텝에 약 $2.26. 기본 1,000스텝이면 3천 원대, 5,000스텝이면 만 원대다.
Comfy Cloud — 워크플로를 돌린 만큼 계산된다.
내 컴퓨터에서 돌리면 전기값 말고는 들지 않는다.
클라우드에 올린 데이터가 얼마나 보관되고 어떻게 쓰이는지는 서비스마다 다르다. 미공개 작업이라면 올리기 전에 약관을 본다.
마무리하기 전에
권리와 기록을 확인하고 다음 작업으로 연결한다
데이터 권리
직접 만든 이미지, 허락받은 이미지, 조건이 명확한 자료인지 확인한다. 로컬에서 학습했다고 저작권과 초상권이 자동으로 해결되지는 않는다.
데이터를 남긴다
이미지와 캡션, 트리거 워드, 설정을 한 폴더에 함께 보관한다. 모델이 바뀌어도 이 폴더만 있으면 다시 학습할 수 있다.
다음 시간
Codex를 이용해 이미지와 코드, 입력 장치를 연결한 인터랙티브 작품으로 확장한다.
같은 프롬프트에서도 결과는 매번 다르다. 그 프롬프트를 던진 것은 작가다. 질문 안에 이미 답이 있다.
Codex
Claude Code
Antigravity
범용 모델
내 작품을 학습한 LoRA
학습한 LoRA 적용