LLM을 활용한
미디어아트 기획
레픽 아나돌 〈Unsupervised〉(2022)
뉴욕 현대미술관(MoMA) 로비에 설치된 대형 LED 스크린 작품이다. MoMA가 소장한 138,151점의 작품 데이터를 학습한 모델이, 전시 기간 내내 한 번도 존재한 적 없는 이미지를 실시간으로 만들어 낸다. 정해진 영상을 반복 재생하는 것이 아니라 지금 이 순간 계산되는 화면이다.
2022년 11월 개막 당시 "값비싼 화면보호기"라는 비판이 나왔고, 2023년 10월 MoMA는 이 작품을 소장품으로 사들였다.
▶ MoMA 아나돌 인터뷰 15분미디어아트가 무엇인지 정리하고, 인공지능으로 내가 하려는 말을 문장 하나로 만든다.
| 교시 | 내용 |
| 1교시 | 미디어아트란 무엇인가 — 정의와 읽는 틀 |
| 2교시 | 백남준과 그 이후 60년 — 다큐 15분 포함 |
| 3교시 | 인공지능의 개념과 한계 · 제미나이 가입 |
| 4교시 | AI 인터뷰로 내 주제 찾기 |
미디어아트
개념과 역사 · 흐름 속 대표 작가
미디어아트의 정의
이런 게 미디어아트다
회화·조각과 미디어아트의 차이
| 항목 | 회화·조각 | 미디어아트 |
|---|---|---|
| 존재 방식 | 물질 자체가 작품이다 | 장치가 켜져 있는 동안만 작품이다 |
| 결과물 | 완성된 한 점 | 작동하는 시스템(코드·장치·데이터) |
| 시간 | 한 번에 전체가 보인다 | 지속 시간이 작품의 일부다 |
| 관객 | 본다 | 위치·움직임·소리가 입력으로 들어간다 |
| 두 번 볼 때 | 같은 것을 본다 | 같은 장면이 아닐 수 있다 |
| 보존 | 안료·재료의 노화 | 부품 단종, 포맷 폐기, 소프트웨어 구버전화 |
| 평가 질문 | 무엇으로 얼마나 잘 만들었나 | 무엇을 입력으로 받아 어떻게 작동하나 |
입력 · 규칙 · 출력
미디어아트 작품은 대부분 이 세 자리로 분해된다. 무엇이 들어가고, 무엇이 그것을 바꾸고, 무엇이 나오는가. 〈Unsupervised〉로 첫 표를 채워 본다.
| 입력 | MoMA 소장품 138,151점의 이미지와 메타데이터 |
| 규칙 | 학습한 이미지들 사이의 색·형태를 연속적으로 이동하며 새 조합을 만든다 |
| 출력 | 존재한 적 없는 이미지가 전시 기간 내내 갱신된다 |

백남준,
그리고 그 이후 60년
1932–2006
TV를 미술의 재료로 처음 쓴 작가, 그리고 그 뒤에 이어진 60년.
여섯 개의 매듭
첫 개인전 「음악의 전시 — 전자 텔레비전」
백남준 〈TV 부처〉(1974)
구성 — 목조 불상 1점, 폐쇄회로 카메라 1대, TV 모니터 1대. 카메라가 불상을 찍고 그 영상이 앞의 모니터에 그대로 나온다. 불상은 자기 자신의 실시간 중계 화면을 마주 본다. 스테델릭미술관 소장이며, 작가가 이후 여러 판본을 만들었다.
읽기 — 입력 = 불상의 모습 / 규칙 = 촬영과 동시 송출 / 출력 = 자기 자신의 상. 회로가 닫혀 있어 바깥에서 들어오는 것이 없다.
해석 — 1,500년 명상의 이미지와 20세기 감시·중계 기술을 한자리에 놓았다. 기계가 자기 자신을 보는 구조이면서, 화면 앞에 앉은 사람에 대한 비유로도 읽힌다.
〈굿모닝 미스터 오웰〉
뉴욕과 파리를 통신위성으로 연결한 생방송. 존 케이지, 요셉 보이스, 로리 앤더슨이 양쪽에서 함께 공연했다. 시청자 약 2,500만 명.
오웰의 『1984』는 텔레스크린으로 개인을 감시하는 사회를 그렸다. 백남준은 바로 그 1984년 첫날에, 같은 기술로 사람을 잇는 방송을 내보냈다.
위성 신호가 불안정해 화면이 끊기고 어긋난 구간이 있었다. 백남준은 그것을 지우지 않았다.
백남준 〈다다익선〉
구성 — 브라운관 모니터 1,003대, 높이 18.5m, 5층 나선 구조. 모니터 수 1,003은 개천절 10월 3일에서 왔다.
협업 — 건축가 김원과 함께 설계했다. 미술관 램프 코어의 빈 공간에 맞춘 작품이라 이 자리를 떠날 수 없다.
공개 — 1988년 9월 15일, 서울올림픽 개막 이틀 전.
정지 — 2018년 2월, 브라운관 노후와 화재 위험으로 가동 중단. 브라운관은 이미 생산이 끝난 부품이었다.
복원 — 3년간 보존 계획을 세워 중고 브라운관을 수급하고 일부는 평면 디스플레이로 교체했다. 2022년 9월 15일 재가동. 현재 주 4일, 하루 2시간만 켠다.
〈백남준: 달은 가장 오래된 TV〉
백남준 본인의 음성 기록과 미공개 영상으로 만든 다큐멘터리다. 오늘은 15분 발췌로 본다.
재료가 늘어난 60년
넷아트
몰입형 설치
teamLab 〈Borderless〉 — 2018년 6월 도쿄 오다이바 개관. 면적 약 10,000㎡에 프로젝터 약 470대, 컴퓨터 약 520대로 방 전체에 영상을 투사한다. 벽에 걸린 그림이 없고, 작품이 방과 방 사이를 이동하며, 관객이 서 있는 자리에 꽃이 피었다가 사람이 움직이면 진다. 2022년 오다이바 관을 닫고 2024년 아자부다이힐스에서 재개관했다.
입력 = 관객의 위치와 움직임 / 규칙 = 머무는 자리에 꽃이 피고 지는 계산 / 출력 = 매 순간 다른 방.
d'strict 〈WAVE〉 — 2020년 5월, 서울 코엑스의 대형 LED 전광판. 꺾인 두 면을 이용한 착시로 유리 수조 안에서 파도가 치는 것처럼 보인다. 광고판을 작품 전시 공간으로 쓴 사례다.
동시대 작가 3인
미디어아트 정리
인공지능
그 자리에 지금 무엇이 있나 · 개념과 한계
이 초상화의 낙찰가
2018년 10월 25일, 뉴욕 크리스티 경매에 나온 초상화다. 오른쪽 아래 서명 자리에는 이름 대신 수학 공식이 적혀 있다. 그린 것이 사람이 아니라 프로그램이기 때문이다. 추정가는 7,000~10,000달러였다.
432,500달러 (약 5억 원)
인공지능의 정의
만드는 방식이 크게 한 번 바뀌었다.
| 항목 | 규칙 기반 (1950~80년대) | 학습 기반 (현재) |
|---|---|---|
| 만드는 법 | 사람이 조건문을 전부 적는다 | 데이터를 주고 규칙을 찾게 한다 |
| 고양이 판별 | "귀가 뾰족하고 수염이 있으면 고양이" | 고양이 사진 수백만 장을 보여 준다 |
| 예외 | 예외 하나에 무너진다 | 예외까지 데이터에 있으면 견딘다 |
| 설명 가능성 | 왜 그렇게 답했는지 추적된다 | 무엇을 근거로 답했는지 사람도 다 모른다 |
네 단어의 관계
배우는 방식 세 가지
예) 사진에서 사람과 배경을 분리하는 모델.
예) 수만 점의 그림을 색과 구도만 보고 무리 짓는다.
예) 이기면 보상을 받는 방식으로 수를 배운 알파고.
층으로 나눠 배우기
사람이 "눈은 이렇게 생겼다"고 알려 주지 않는다. 층을 깊게 쌓고 데이터를 많이 넣으면, 각 층이 무엇을 맡을지가 학습 과정에서 저절로 정해진다. (층 구분은 설명을 위해 단순화한 것이다.)
두 번의 전환점
평균의 함정
두 번째 질문의 답은 원리에 있다. 이미지 모델도 언어 모델도 학습 데이터에서 확률이 높은 쪽을 고른다 — 어떻게 그렇게 되는지는 3주차(언어)와 4주차(이미지)에서 하나씩 뜯어본다. 확률이 높다는 것은 학습 데이터에서 자주 나온 것, 즉 통계적으로 가장 그럴듯한 것이다. 그럴듯함의 다른 이름이 평균이다. 프롬프트에 "숲"이라고만 쓰면 학습 데이터 속 숲의 평균이 나온다. 누가 써도 비슷한 이유다.
첫 번째 질문의 답도 여기서 나온다. 평균에서 벗어나게 만드는 일이 사람 몫이다 — 무엇을 넣을지 정하고, 나온 것 중 무엇을 남길지 고르고, 남긴 것을 어떻게 바꿀지 정한다.
할루시네이션 (환각)
결국은 학습된 데이터다
어떻게 할 것인가
1963 = 2026
구글 AI Plus 학생 요금제 가입
다음 주부터 쓸 계정이다. 이 자리에서 만든다.
AI 인터뷰로
주제 찾기
내가 하려는 말을 문장으로 만든다
제미나이
가운데 입력창에 프롬프트를 쓴다. 입력창의 + 버튼으로 파일과 사진을 올리고, 모델을 고를 수 있다. 로그인하면 지난 대화가 왼쪽 목록에 쌓인다.
계정을 아직 만들지 못했으면 로그인 없이도 쓸 수 있다. 다만 대화가 저장되지 않는다.
창작의 순서
판단하는 AI와 만드는 AI는 다르다. 기존 AI가 맞고 틀림을 판단했다면, 생성형 AI는 학습한 패턴으로 새로운 글과 그림과 음악을 만든다. 도구도 아날로그(펜·카메라)에서 디지털(편집 소프트웨어)을 지나 지능형 도구(생성형 AI)로 왔다. 제작의 일부를 AI가 나눠 지면서 작가의 일은 앞 칸으로 옮겨간다.
인터뷰로 주제를 찾는 이유
"작품 주제를 정해 오라"는 요구는 막막하다. 그런데 "요즘 어디에 시간을 제일 많이 쓰나"라고 물으면 누구나 답한다. 주제는 새로 지어내는 것이 아니라 내 대답 안에서 골라내는 것이다.
시작 프롬프트
강사가 먼저 받는다
강사가 화면에서 첫 두세 질문을 직접 받는다. 두 가지를 본다.
질문 열 개에 답하기
정리 프롬프트
비평가로 역할 바꾸기
LLM은 기본적으로 사용자의 말을 긍정하는 쪽으로 답한다. 역할을 바꾸면 같은 모델이 다른 기준으로 본다. 지적을 받고도 남는 후보가 실제 후보다.
주제에서 질문으로
약한 주제는 명사에서 멈춘다. 좋은 주제는 대상을 향한 질문을 담는다. 질문이 되어야 작품이 답할 것이 생기고, 장면과 형식도 거기서 따라 나온다.
| 명사 | 질문 |
|---|---|
| 꽃 | AI는 꽃의 시듦을 기억할 수 있을까? |
| 바다 | 바다는 오염시킨 인간을 용서할까? |
| 환경 | 파괴된 환경은 인간의 반성을 기다릴까? |
환경 → 기억하는 숲 · 기억 → 데이터를 먹는 바다 · 도시 → 사라진 도시의 기억
고르는 기준 세 가지
주제 한 장
주제 셋 듣기
세 명이 주제 한 문장과, 그 주제가 인터뷰의 어느 대답에서 나왔는지 말한다. 듣는 사람은 그 주제의 좋은 점을 하나씩 말해 준다.
3주차 · LLM을 활용한 주제탐색
오늘 만든 계정의 AI에게 질문하는 역할을 맡긴다. 관심사와 평소 생각을 파고들게 해서 학기 작품의 주제를 끌어낸다. 언어 모델은 다음 말을 이어 붙이는 장치다 — 이 성질을 질문 쪽으로 돌려 쓰는 것이다.
1문장 그 작품의 입력과 출력이 무엇인가 · 2문장 무엇이 변하는가 · 3문장 왜 이 작품을 골랐는가.
작품명과 연도를 함께 적는다. 3주차 인터뷰의 재료로 쓴다.
2주차 정리
미디어아트 — 기술을 재료로 쓰고 시간 위에서 작동하는 미술이다. 입력·규칙·출력으로 읽는다. 1839년 사진, 1917년 뒤샹, 1963년 백남준을 지나며 미술의 무게중심이 손에서 눈으로, 눈에서 판단으로 옮겨 왔다.
인공지능 — 규칙을 사람이 적는 대신 데이터에서 찾게 만든 기술이다. 학습 데이터에서 확률이 높은 쪽을 고르기 때문에 그대로 쓰면 평균이 나온다. 평균에서 벗어나게 만드는 선택과 그 과정의 기록이 지금 작가의 일이다.
제미나이 — 계정을 만들었다. 3주차부터 이 계정으로 실습한다.
다음 시간 — 오늘 만든 계정의 AI를 안에서 들여다본다.

