(배경)
데이터에 연결된 세계 인구들은 대부분 소비 주체가 아닌 대상으로써 연결되고 있다는 것이 문제점이다.
개인의 데이터들은 대기업에 의해서 수집이 되어 마케팅에 활용되었다.
개인은 시각문화 선택기준으로 자신의 데이터를 활용하는 문제에 직면했다. 최근 개인 정보 활용이 사회적 문제가 되어 데이터 유출을 차단하는 것이 선택 가능해졌다. 현대인은 데이터의 홍수 속에서 살아남아야 하며,
살아남는 방법은 디지털 문명을 차단하는 문맹이 될 것이 아니라 개인 스스로 구축한 데이터를 활용하는 데 있다.
일반인들은 개인의 기준으로 선택에 활용되는 것이 어렵다는 한계점에 있다. 소셜미디어에 구축된 개인의 이미지 데이터를 소비 주체로 활용할 수 있는 방법이 필요하다. 개인의 시각문화 선택기준을 찾는데 개인의 이미지와 미술관의 이미지 관계망을 활용은 시각문화의 기준, 이미지 데이터를 스스로 찾고 구축하는 문제 해결의 출발점이 될 수 있다.
이 연구는 현대미술 작품의 개인 맞춤형 추천 방법을 제안하는 것이다. 제안 기준을 세우기 위해
1) 추천시스템에서 사용되는 세 가지 분류 개인 콘텐츠 ‘포스팅, 선호하는 이웃 콘텐츠인 포스트에 ‘좋아요’,의 학습 신뢰도를 인스타그램 이미지로 검증한다.
2) 두 가지 라벨의 일치도가 높은 각각의 데이터와 두 가지 라벨의 ‘복합’ 이미지 결과를 자동 선별하여, 데이터 제공자와 인터뷰를 통해 타당도를 검증하고자 한다.
-현대미술관의 역할?
미술관은 이미지 데이터 홍수에서 기준이 되어야 하지만 미술관 작품데이터 역시 방대하여 비전공자가 접근하기 어려운 지점이 있다. 전시 담론 등의 접근 장벽이 이미지 중심의 직관성을 가로막아왔다. 근대 시각문화의 축이 되어온 현대미술관은 큐레이터의 관점으로 전시 담론을 형성해왔다.
(1) 추천시스템
추천시스템의 대표 격인 유튜브와 넷플릭스의 복합된 알고리즘은 크게 두 가지로 나눌 수 있다.
1) 모델기반 협업 필터링 - 카테고리 학습 편향 - 이다. 유튜브는 일 60억이 이용 중 70%가 이러한 카테고리 알고리즘에 의한 추천으로 소비된다. 넷플릭스는 유튜브의 ‘좋아요’ 같은 취향 군이 이루어지지 않은 신규 가입자에게 태그로 추천한다.
추천 카테고리(범주)는 태그로 새롭게 세분화･다양화된다.
2) 사용자기반 협업 필터링이다.
특정 개인과 선호하는 내용이 비슷한 사용자들이 선호하는 이미지를 특정 개인에게 추천한다. 유사도의 기준은 이웃과 콘텐츠로 나뉜다. 하나는 유사한 이웃이 선호하는 콘텐츠 중 아직 특정 개인이 선호한 적이 없는 이미지에 대한 선호도를 예측하는 것이다. 다른 하나는 유사 콘텐츠 중에서 다른 이웃들의 평가와 선호 이미지의 유사도를 비교하여 추천하는 방식이다. 이웃사용기록은 콜드스타트 문제를 해결할 수 있다. 이러한 알고리즘은 정형적으로 추천 방식을 설명하기 쉽다는 장점이 있다. 융합적인 방식은 186개국에서 4만1천 명 참여한 대회에서 최종 수상한 것으로 넷플릭스 자체 알고리즘이었던 시네매치보다 10.06% 개선됐다.
이미지 역시 단일 스타일보다 복합 스타일이 융합 알고리즘 결과처럼 선호될 수 있다.
(2) 미술관의 작품 검색 및 추천 방법
술관은 배경 지식이 되는 미술작품과 관련한 데이터의 API를 제공하기 시작했다. 미술관의 데이터를 공개하여 개발자가 미술관의 데이터를 활용할 수 있게 한 것이다. 메트로폴리탄뮤지엄(MET)을 시작으로 현대미술관, 테이트 등의 데이터와 개발된 코드가 케글, 깃허브 등의 사이트에 공유되어 개발자들 사이에 피드백을 주고받는다. MET와 MoMA 등에 구현된 서비스는 실상 내부관계자의 실무를 위한 것으로, 실제 관람자/사용자는 개발자와 피드백을 주고받기 어렵다는 한계점이 있다.
게티 센터 작품 검색에서 데이터의 연결성에 주목한 연구를 해왔다. <그림 1>은 무한에 가까운 디지털 컬렉션의 연결성을 보여준다. 빅데이터에서 정보들이 연결되는 지점은 이미 진입장벽을 넘은 연구자와 전문가에게 활용되는 전문영역의 큐레이션이라는 점에서 일반인을 위한 추천으로 보기에는 어려운 점이 있다. 미술작품을 검색하거나 정보를 찾을 수 있는 서비스를 유명미술관이 서비스 하고 있지만, 작품을 추천받을 수 있는 시스템을 포함한 포털 서비스는 구글이 거의 유일하다. 「구글 아트프로젝트」의 아트앤컬처 사이트에서 유사이미지를 기반으로 추천하고 있다(<그림 2> 참고).
검색엔진으로 대표되는 구글의 아트앤컬처가 작품 추천 방향으로 업데이트되었다. 예를 들면, 미술작품 십만 개의 데이터에서 구스타프 클림트의 <그림 2> (상) 키스 등 작품을 선택하여 시각적으로 유사성만으로 검색해주는 방식은 2021년까지 서비스한 바 있다. 2022년 2월에는 개인 갤러리에 그림을 담으면 유사한 작품을 추천하는 방식을 서비스했다. 5월부터는 하단 바에서 유사 장소, 재료, 화풍 등으로 분류하여 서비스하고 있다.추천시스템으로서 구글 아트앤컬처의 한계점은 공유하는 선택이 어렵다는 것이다. 미술관들은 각 미술관 별로 분류되지 않은 십만 개의 작품에서 관람자가 소장품을 선별하는데 활용할 수 없다, 개인은 많은 데이터 속에서 연관성을 대표할 작품을 찾는데 어렵다.
(3)이미지 딥러닝
본 논문에서는 현대미술을 넷플릭스나 유튜브와 같은 스토리 기반에 중점을 둔 영상 추천과 다르게, 이미지 유사성 기반의 딥러닝의 알고리즘을 적용할 수 있다. 딥러닝은 비정형데이터인 이미지, 음성 등의 처리하는 장점이 있다. 그 외의 알고리즘을 구축한 머신러닝은 정형적 데이터인 검진데이터, 매출 데이터 등에 적합하다. 머신러닝은 ‘데이터를 이용한 프로그래밍’이기 때문이다. 일련의 예제를 받은 컴퓨터는 데이터로부터 패턴을 학습하는 능력을 갖추게 된다. <그림 3> 머신러닝의 알고리즘]에 붉은 동그라미 표시한 부분을 딥러닝에서는 알고리즘의 하나인 인공신경망을 사용한다.
딥러닝은 데이터에 대한 기본 파라미터를 설정하고 컴퓨터가 여러 처리 계층을 이용해 패턴을 인식함으로써 스스로 학습하도록 훈련시키는 기술이다. 본 논문은 비정형데이터 중 이미지를 사용하여 딥러닝의 알고리즘으로 이미지 유사도를 분류한다.
(4) 이미지 딥러닝과 추천시스템
딥러닝의 이미지 유사도는 현대 광고 추천에서 많이 쓰이지만, 이미지 유사도를 분류하는 CNN은 다른 인공신경망과 마찬가지로 입력 계층, 출력 계층, 그리고 그사이의 여러 은닉 계층으로 구성된다). CNN은 수동으로 특징을 추출할 필요 없이 데이터로부터 직접 학습하는 딥러닝을 위한 신경망 아키텍처다. CNN은 모델의 complexity는 최소화하면서 Vision에 최적화되어있는 형태의 모델이다. 위 그림의 복합 계층으로 표기된 컨볼루션을 통해 파라미터가 공유되는 효과가 있으며 또한 <그림 4>에 표기된 풀링 계층을 통과하면서 연산 개수는 더욱 줄어드는 장점이 있다. CNN은 새로운 인식 작업을 위해 기존에 미리 학습된 모델(pre-trained model)을 가져와 전이학습 방식으로 모델 학습을 수행하는데 사용할 수 있는데 ‘AlexNet, GoogLeNet, Inception V3(인셉션)’과 같은 모델은 전문가들이 구축한 검증된 아키텍처를 제공한다.
개인 이미지 학습은 딥러닝 아키텍처의 마지막 전이학습 단계에 이루어진다. 보틀넥(Bottleneck) 디렉터리로 마지막 바로 앞 층인 보틀넥에서 생성된 값을 캐시하는데 사용한다. 마지막 층은 이 결과를 이용해서 분류한다. 재학습 동안 각 이미지는 여러 차례 사용되지만, 이미지의 보틀넥 값은 심지어 재실행할 때도 같은 값을 유지한다. 따라서 처음 실행 시 보틀넥 값을 생성하기 때문에 수행시간이 더 길다. 재학습하는 동안, 매 10단계 값 3개가 출력되고 총횟수의 기본값 사천단계에서 천 단계로 축약했다.추천하고자 하는 작품목록은 테스트 단계에서 입력하고 분류 출력된다. 이때, 콘텐트 유사도는 이미지만으로 가중치가 부여된다. 인터넷 창의 수많은 광고뿐만 아니라 위 구글의 활용 등에서 추천되고 있는 이미지는 지각적 정신적 구어적인 인상을 통틀어 보여주므로, 복합적인 의미를 유추하는 상징으로 사용할 수 있기 때문이다.
(2)연구 방법
-인스타그램 스타일의 작품 추천 프로세스
1. 이미지 딥러닝 및 자동 선별
연구에서는 이미지 딥러닝의 유사도를 통해 작품을 추천하는 방법을 활용했다. 연구방법에서 구성한 1) 데이터 선별 근거에 따라 본 논문은 이미지 유사도를 기반으로 모델협업 필터링, 사용자 협업 필터링, 그리고 위 두 가지를 융합한 복합 필터링 세 가지 분류의 추천 기준과 작품을 제안한다.
2) 이미지 딥러닝 과정에서 MoMA의 작품목록을 각 라벨에 맞게 분류 테스트는 보틀넥을 생성하는 때보다 빠르게 - 몇 초 만에 개인 이미지와 MoMA의 작품 일치도 결과 목록 <그림 8> (좌)를 출력했다. 개인 이미지 학습으로 인공지능이 읽을 수 있는 보틀넥을 생성하는데 학습하는 동시에 이루어진 검증결과를 텐서보드를 이용하여 자동으로 <그림 8> (우)에서 확인할 수 있다. 개인의 이미지 스타일은 <그림 8> 그래프에서 350번의 학습부터 1000번의 학습까지 91~96%의 정확도로 학습(주황색)되고 87~90% 검증(파란색)되었다. 본 연구의 개인 이미지의 학습은 그래프 상 분류와 검증의 편차는 20% 내로 수렴되고 있다. 연구자가 전이학습을 진행하여, 검증 정확도가 얼마나 높은지가 신뢰도의 척도이다. 학습 정확도는 신경망 학습에 사용한 이미지에 대한 분류 정확도이고, 검증 정확도는 학습에 사용하지 않은 이미지에 대한 정확도이기 때문이다. 현재 딥러닝연구가 진행될 수 있었던 2012년 이미지넷(ImageNet) 대회에서 힌튼(Hinton) 교수팀의 이미지인식 정확도가 80%라는 기준에 근거한다.
일치도에 따른 자동 선별은 결과 이미지 자동출력은 엑셀로 자동 출력한 분류 결과의 일치도를 기준으로 파이썬 언어 객체･메소드() 형태로 출력을 기본으로 표본을 뽑는 코드를 작성했다. Name 1st 는 계정과 ‘좋아요’ 에서 지정하고, <그림 8> 붉은 네모표시된 Score 1st 값 지정한 특정 퍼센티지 이상의 것만 엑셀에 그림과 함께 자동 출력된다. 95% 값에서는 수십 개의 작품이 추천되어서, 99%로 값을 다시 조정해서 3가지 조건 당 각 값을 위에 설명한 <그림 5> 프로세스의 세 가지 기준으로 자동 출력했다.출력은 엑셀의 자간을 조정하여 그림이 이름과 Score 아래 칸에 자동으로 삽입되게 프로그래밍했다. 개인 포스트 Name 1st, Score 1st 99% <그림 9> (a) No. 31을 출력했다. ‘좋아요’ Name 1st 로 Score 1st 는 99% 앉아서 <그림 9> (b) 목욕하는 여인을 출력했다. ‘좋아요’가 Name 1st Score 1st 75%, 개인 포스트 25% 복합 비율은 <그림 9> (c) 일몰로 자동 출력했다.
(3)연구 결과 및 연구 결과 활용
본 논문에서 도출한 추천 프로세스는 <그림 13> 데이터 입력과 추천작품 출력결과에 대한 최종 작품을 추천순이다. 자신의 데이터 카테고리에 관한 지적 투영도 가능하지만, 인스타그램 이미지와 같이 개인적이며 감성적인 결과를 보여준다. 이것은 미술관을 나오면서 사람들이 가지게 되는 결과와 일치한다(Bigot, Crouette, & et Daudey, 2005).’데이터를 가지고 있는 개인이 어떠한 사전 지식 없이도 접근 가능한 자신의 취향을 보여주는 전시가 만들어진 것이다. 이 스타일의 전시 <그림 14>는 포스팅하고 ‘좋아요’를 누르며 쌓인 데이터로 자신도 몰랐던 개인의 취향이라는 의미가 있다.
1) 미술관 공간 마케팅
개인화된 작품 추천은 미술관별 공간 마케팅에 활용할 수 있다. 실내디자인 분야에서 공간 마케팅은 중요한 요소이며, 문화 분야의 추천도 공간 마케팅에 활용되어왔다 루브르는 관람자 연구를 가장 먼저 시작했고 관람자 연구결과에 근거하여 모나리자 작품을 위한 전시장을 따로 개설했었다. 이러한 연구와 마케팅이 세계 최대의 관람자들을 루브르로 불러들였다. 대표작의 유명세는 모객에 효과적이지만, 관람 만족도에는 부정적 효과마저 주고 있었다. 하나의 작품을 위한 공간임에도 불구하고 관람자들은 작품을 몇 초도 볼 수 없고, 가까이 접근할 수 없다. 개장하자마자 가서 잠시 관람할 수 있지만, 접근 가능한 경우에도 관람자의 기대에 못 미치기도 한다. 이러한 관람자 연구로 전시장을 리모델링 중이며 이 과정에서 가상전시 연구를 추가하여 가상 학습 및 체험을 가능하게 했다. 또한, 유명작품의 개인 관람수요는 펜데믹 기간에는 재정 충당을 위해서 활용되었다. 맞춤 마케팅은 만족도에 긍정적인 역할을 할 수 있기 때문이다. 개인 데이터의 활용은 예술･문화 공간 디자인과 마케팅에서도 중추적 요소다. 개인화된 추천은 미술관의 전문성 문제와 양적 압도 문제의 진입장벽을 낮춰줄 수 있기 때문이다.
2)미술관과 개인의 데이터 네트워크
추천시스템이 활성화되면, 미술관과 개인에게 선택지가 다음과 같이 넓어진다. 관람자는 여러 미술관 중 개인화된 미술관을 선택하는데 활용할 수 있다. 본 연구는 한 공간의 여러 소장품을 선택하는 것에 초점을 맞추었지만, 미술관 데이터와 개인 데이터의 네트워킹은 스타일의 네트워크를 확장하고 구체화한다. 그러므로 전 세계의 미술 소장품에 접근하는 방법은 유명 작가와 유명작품이 아니라 나의 시각문화 스타일의 적합성에서 시작된다. 미술관에서는 추천시스템이 활성화되면, 관람자 연구의 자료로 활용할 수 있다. 개인 맞춤형 전시에 활용할 때 조사를 통해 관람자 기준을 선정하여 아카이브 하면 미술관 내에서, 특정 동일한 작품을 선호하는 이웃의 다른 선호 작품을 추천하는 데이터 네트워크가 가능하다.
(4) 결론
본 논문의 딥러닝 추천 프로세스는 다음과 같이 활용할 수 있다. 딥러닝 모델로 개인별 인스타그램 이미지 일치도를 정량적으로 파악하고 현대미술관 작품을 추천 모델에 따라 분류할 수 있다. 한 명의 개인이 보고자 하는 100개의 미술관이 있다면 100개 각각의 맞춤형 전시가 가능하다. 이미 축적된 미술관의 양질의 데이터는 개인에게 양질의 플랫폼을 도출할 수 있게 한다. 개인 스스로 작품의 일치도로 개인의 스타일을 양질의 시각문화지형도에서 파악하는데 활용할 수 있다. 작품 선호도와 개인 스타일이 일치하는지는 이용자 조사 데이터로 역할 하며, 추후 뮤지엄 큐레이터의 큐레이팅 근거도 마련해준다. 따라서 본 논문은 주로 거대자본의 상업적 이용되어온 이미지 분류를 개인 플랫폼의 가능성을 제시했다.
미술관에서는 개인별 큐레이팅 아카이브로 시각문화의 근거를 축적할 수 있다. 다양한 미술관 작품만큼 다양한 개인의 스타일은 중요하다. 미술관에 개인의 데이터가 축적되며 작품에 다양한 유형의 아카이브가 된다. 인스타그램 계정에서 네트워킹과 다르게 실제 오브제를 바탕으로 추천의 근거를 마련하게 된다. 딥러닝을 사용한 개인별 작품 추천은 한 미술관에 추천시스템 이용자들의 플랫폼 아카이브를 가능하게 한다. 작품 추천 프로세스는 위 제한점과 가능성 속에서 개인이 선택할 수 있는 전시 다양성을 더하고 미래의 미술관에서 가능한 ‘개인’의 취향, 해석 확산의 방법을 제안했다는 점에 의의가 있다.
..- ㅇ
ㄹㅇㄹㅇ
딥러닝은 데이터에 대한 기본 파라미터를 설정하고 컴퓨터가 여러 처리 계층을 이용해 패턴을 인식함으로써 스스로 학습하도록 훈련시키는 기술이다(Polyzotis et al., 2017). 본 논문은 비정형데이터 중 이미지를 사용하여 딥러닝의 알고리즘으로 이미지 유사도를 분류한다. 산 개
축한 머신러닝은 정형적 데이터인 검진데이터, 매출 데이터 등에 적합하다. 머신러닝은 ‘데이터를 이용한 프로그래밍’이기 때문이다. 일련의 예제를 받은 컴퓨터는 데이터로부터 패턴을 학습하는 능력을 갖추게 된다. <그림 3> 머신러닝의 알고리즘]에 붉은 동그라미 표시한 부분을 딥러닝에서는 알고리즘의 하나인 인공신경망을 사용한다. 수는 더욱 줄어드는 장점이 있다. CNN은 새로운 인식 작업을 위해 기존에 미리 학습된 모델(pre-trained model)을 가져와 전이학습 방식으로 모델 학습을 수행하는데 사용할 수 있는데 ‘AlexNet, GoogLeNet, Inception V3(인셉션)’과 같은 모델은 전문가들이 구축한 검증된 아키텍처를 제공한다.<그림 4> CNN, 인스타그램 이미지 분류