- Tech Base 전공자이긴 하지만, 컴퓨터공학은 아님 - 인공지능이 발전하기 시작함 - 이것저것 하다 보니, 인문학 분야 공부도 하게 됨 - Transformer, ML 기반으로 AI가 발전하고 있음 - 예술분야 (미학) 분야를 접목시키면 AI 발전에 도움이 되지 않을까? 하는 생각 (예술을 공부하는 목적)
: 융합의 필요성 • 창의적 표현의 확장 : AI 기술은 예술가에게 새로운 창 작 도구와 표현 방식을 제공 • 새로운 경험의 창출 : 관객은 AI가 만들어내는 상호작용 적이고 몰입적인 예술적 경험을 체험 • 산업적 가치 : 예술 콘텐츠의 생산, 유통, 소비 방식에 혁신을 가져올 잠재력을 가짐
핵심 동력이 됨 (되었음, 되고 있음) • 데이터 기반의 예술창작 : AI는 방대한 예술 데이터를 학습하여 새로운 패턴을 발 견하고 창의적인 결과물을 생성할 수 있음 • 상호작용적 시스템 : 실시간 센서 데이터 등을 활용하여 관객과의 동적인 상호작 용이 가능함 • 개인화된 예술 경험 : 사용자 선호도를 학습하여 다양한 예술 콘텐츠를 제공할 수 있음 https://www.aihub.or.kr/
요소 • 음악, 시각 예술, 행위 예술 등 : 많은 예술 장르는 텍스트, 이미지, 음성, 영상, 동 작 등 비정형 데이터로 구성됨 • 다양한 의미와 맥락 : 비정형 데이터는 인간의 감성, 의도, 미적 가치 등 표준화하 기 어려운 풍부한 정보를 담고 있음 -> 맥락(우선) • AI 모델 개발의 핵심 : 이러한 비정형 데이터를 AI가 이해하고 활용하는 것이 예 술기술융합 AI의 성공에 필수적인 데이터가 될 것임
예술 데이터의 고유한 특성 - 예술 데이터는 본질적으로 다형성(polymorphic)과 모호성(ambiguity)을 지니고 있음 - 이는 전통적인 AI/ML 방법론으로 다루기 어려운 복잡성을 내포한다. -> 데이터의 비표준성, 구조화가 어려운 점 -> ML : 컴퓨팅(계산가능, 벡터화) 가 되어야 함
음원의 주파수 스펙트럼 등 데이터 포인트 하나하나 가 매우 많은 차원을 가짐 - 저밀도성 : 고차원 공간에서 유의미한 예술 데이터는 극히 일부 영역에만 존재하 며, 데이터 포인트 간의 거리가 멀어 학습이 어려움 - 수집된/학습할 데이터는 고차원·저밀도 특성을 가지는 경우가 많음 -> 문제점: 차원의 저주(Curse of Dimensionality) 및 과적합(Overfitting) 위험이 증가
데이터는 디지털 이미지, 회화, MIDI, 음향, 무용 영상(동작) 등의 다양한 형식으로 존재 - 데이터셋의 비균질성 : 특정 장르나 작가에 따라 데이터의 구조, 품질, 양이 크게 다름 - AI 모델 개발에 있어 데이터의 비표준성은 핵심적 제약으로 작용 -> 데이터 통합의 어려움, 복잡한 전처리 과정 및 편향 발생의 위험이 있음
수치나 범주로 쉽게 정의될 수 없는 주관 적이고 추상적인 요소들을 포함한다 ("아름다움", "창의성“ 등) -> ‘아름다운 것’을 어떻게 구조화(계량화)할 수 있는가? - 의미의 다층성 : 하나의 예술 작품도 다양한 해석과 맥락을 가질 수 있음 (사실상 그것을 목표로 함) - 이는 엔지니어링의 한계 및 예술적 의미의 손실을 초래할 수 있음 (그러나 언젠가는 해야 함)
데이터의 미묘한 색감, 톤, 음향의 잔향 등 예술적 의도를 담은 미세한 뉘앙스나 맥락이 이 과정에서 쉽게 유실될 수 있음 -> 데이터 정형화 과정에서 정보 손실이 빈번하다. -> 예술성 저하 및 원본 복원의 어려움. -> 예술작품을 관람하실 일이 있다면, ‘이걸 어떻게 데이터화할까’ - 원본 손실 : 붓터치, 질감, 재료의 특성 등 물리적 정보는 디지털 이미지로 변환 시 상당 부분이 소실됨 (색감은 더 좋을 수 있음) - 스타일 전이 (Style Transfer) AI는 색상, 형태 등 표면적인 특징은 모방하지만, 작 가의 심오한 의도나 감정까지는 포착하기 어렵다. -> 현재의 AI로 만든 예술의 현실은?
비정형 데이터는 복잡하고 비선형적인 패턴을 가지고 있어, AI 모델이 이를 효과적으로 학습하는 데 어려움이 있음 - 표준 벤치마크 부재 : 예술 분야에서는 AI 모델의 성능을 객관적으로 평가할 수 있는 표준화된 벤치마크 데이터셋이나 평가 지표가 부족 (시도는 되고 있음) - 학습된 AI 모델이 학습 데이터에 없는 새로운 데이터에 대해 정확하게 예측하거나 적 절한 반응을 보이지 못하는 현상들이 있음 - 비정형 데이터의 특성 : 비정형 데이터의 고유한 복잡성과 다양성으로 인해, 특정 데이 터셋으로 학습된 모델이 다른 예술 작품이나 스타일에는 적용되기 어려운 면이 있음 -> 학습 과정에서의 일반화 불가능성 문제, 예술적 다양성 포용 불가 및 실용적 가치 저 하
데이터에 내재된 특정 시대, 문화, 성별, 취향 등의 편 향 - 생성 결과의 편향 : AI가 생성하는 작품이 특정 스타일이나 경향에 치우치게 되어, 다양성을 해치고 획일적인 결과물을 낼 수 있음 -> AI가 만든 것들만을 가지고, 현상을 분석해 볼 필요가 있음 -> ‘AI도 문화다’ 라고 인식하는 것이 필요 (주체성은 배제하더라도) -> 데이터의 비표준성과 정형화 과정에서의 정보 손실은 편향적 위험을 높여, 모델의 일반화 능력을 저해함 https://www.simplypsychology.org/cognitive-bias.html
: 주로 분류/예측 모델의 근거를 설명/해석하는 데에 초점 - 생성된 XAI의 난점 : 예술 작품 생성 모델은 이러한 ‘결정된 근거‘ 를 넘어, 창의적 과정과 미학적 의도를 설명해야 하는데, 이를 어떻게 해석할 것인가 - 설명 가능성의 확보가 어렵다는 것은, 모델의 해석 불가능성이 주요 문제일 수 있 음
작동을 이해하지 못하면, AI를 단순한 '도구' 이상으로 활용하기 어려움 - AI 연구자 : 모델이 왜 특정 성능을 보이는지, 어떤 부분에서 한계가 있는지 정확 히 파악하기 어렵기 때문에, 모델의 개선 및 발전에 어려움이 있음 -> 현장의 이야기는? - 이러한 이해 장벽은 표현 불일치와 해석 불가능성에서 파생되며, 예술기술융합 요소를 적용한 AI 분야의 혁신을 저해할 수 있음
가치를 창출하고 폭넓게 활용되기 위 해서는, 이러한 근본적인 한계들에 대한 해결책 모색이 필수적 -> 현재 AI의 발전 방향은 어떠한가? -> 관련 H/W는? (AI반도체) - 기술적 한계를 넘어, 예술적 맥락을 깊이 이해하고 반영할 수 있는 새로운 접근 방식이 요구됨 - 기술적 개선을 넘어, 예술적 통찰과 공학적 방법론의 융합이 중요
전문성을 확보하고, 다양한 형식의 데이터를 통합하는 표준화된 데 이터셋의 구축 -> 예술가, 큐레이터 등 전문가의 협력을 통한 고품질 데이터 확보 - 데이터 증강(Data Augmentation) 기법 개발 -> 제한된 비정형 예술 데이터의 양을 늘리기 위한 효과적인 증강 기법을 연구 -> 데이터의 비표준성, 구조화 불가능성, 고차원·저밀도 특성 등 데이터 한계를 극 복하기 위한 다각적인 노력이 필요 -> 원본 데이터셋 구축 시의 품질이거나, 해석이 중요
위한 모델 구조 개선 -> 예술적 의도나 맥락을 명시적으로 인코딩할 수 있는 모델 아키텍처 연구 - 생성된 예술 작품의 '어떤 특징'이 '왜' 중요한지 설명할 수 있는 기법 개발 - 데이터 편향성 최소화 -> 다양한 문화권, 시대, 장르의 예술 데이터를 포함 -> (때로는 편향이 필요할 때도 있습니다만, 구분하여 학습 필요)
등 인문사회 분야와의 융합 -> 인간의 창의성, 미학적 가치, 감정 등 예술의 본질적 요소를 AI가 이해하고 표 현하는 방법에 대한 심층 연구 - 공학, 컴퓨터 과학, 디자인 분야와의 시너지 -> 최신 AI 기술을 예술 분야에 최적화하고, 사용자 친화적인 인터페이스 및 경험 디자인 -> 예술기술융합 맥락의 AI 학습 설계에서의 제약 및 실패 요인을 다각도로 분석 하고 해결하기 위해 학제 간 연구가 요구됨 -> 어렵다면, 생각의 전환만 조금 더 해 보셔도 좋습니다.
구조화 불가능성, 고 차원·저밀도 특성, 정보 손실)에 직면 - 학습 과정의 일반화 불가능성, 모델 불안정성, 설계 복잡도 증가로 이어짐. - 이는 표현 불일치와 해석 불가능성을 야기하며, 실질적인 성능 저하 및 적용 실패 로 귀결됨. - 이러한 한계를 극복하기 위한 데이터, 학습, 표현, 해석, 윤리적, 학제 간 다각적인 노력은 필수 - 서비스 등의 개발에 있어서도, 이와 크게 다르지 않음 (힘드시겠지만 생각하는 게 좋겠죠, 당연하지만) -> UX를 생각하는 느낌 정도로
lablup
sugarenia
csswizardry
eileencodes
keathley
pauljervisheath
danielanewman
aarron
speakerdeck
tammyeverts
jakevdp
denniskardys
mclloyd
