2022년 국악 음원/악보 데이터셋 사업에 대한 소견.

by Dr. Nitro · 2022년 11월 22일

2022/11/22 3일간 게시후 과제 종료까지 비공개.

2025/12/03 내용 수정 보완 후 재게시.

과제 개요
- 음원 10,000여개 수집
- 수집된 음원에 대한 MIDI 채보 및 장르, 악기, 장단, 시김새, 음조직에 대한 labeling 수행
- 학습 임무는 장르분류, 믹스 음원 분리, MIDI 자동 채보
  - 초기 기획서에는 자동 작곡 서비스도 포함됨.

초기 계획에 대한 비판
- 큰 뼈대도 잘못 구성되어있고, 사업측면에서는 비현실적인 mission을 달아놓음.
- 자동작곡? 자동채보? [국악AI]는 아직 너무나 먼일임.
- 6개월 과제에서 5개월차인 현재, 과제종료시점이 다가오는 이시점에도, [계획서 변경]과 [미비한 성과에 대한 방어]에 너무 많은 에너지를 소비함.

인공지능 연구개발 이전에 ground truth 확립부터.
- 인공지능 연구/개발이 성립하려면 ground truth가 확실한 데이터가 필요함.
- 현재 국악계는 [ground truth]가 불안정함.
  - 예를 들어, [장단], [음조직]과 [시김새]에 대한 논쟁은 국악학자들 사이에서 수십년간 지속되어 오고 있음.
- 11월 22일 TTA측에서 제기된 [전문가 검사 의견]
  - 수집 목표 수량의 10%데이터 중 약 10% 수량인 100여 건을 검사하여 제대로 라벨링 되어있는지를 가늠해보는 과정.
  - 2명의 [국악 전문가]가 직접 샘플 전수 검사.
    - 국악과 교수 및 전 국악원 연구실장으로 구성
  - 정상적인 데이터셋이라면 1,2개 정도의 기입 오류가 있는지 정도를 검사하는 형식적인 과정.
  - 107개 중 57건은 클래스 판정에 [전문가] 사이에도 이견이 있는, 다시말해 [인공지능] 측면에서는 쓸모없는 데이터로 판정됨.
  - 나머지 50건의 데이터도 BPM과 기본박 등 제작 형식/방식에 대한 [빠른 의사결정 구조] 부재로 이들 중 상당수가 오류투성이인 것으로 드러남.
- [국악 인공지능] 연구는 [인공지능]을 논하기 이전에 통계적 검증을 통해 ground truth의 합의가 우선되어야 할것이다. 다시말해, 이론적 개념 정의에 대한 학계의 합의과정이 필요함.

데이터셋의 [최종 사용자]는 인공지능 연구/개발자
- 데이터셋의 구축 목적은 [아카이빙]이 아닌 [인공지능]의 학습과 추론을 위한 것임.
- 이를 위해 [음악AI]에 전문성을 가진 구성원이 모여 실무를 담당했어야 함.
  - 특히, 국악에 대한 충분한 지식과 전문성을 가진 음악AI 연구자가 필수적임.
- 그러나, [최종 사용자]의 의견이 전혀 반영되지 않는 의사구조였음.

전문성 없는 실무진과 전문성 없는 전문가
- 많은 인력을 동원하는 것 자체가 주된 취지인 정부지원사업이었음에도, 라벨링 이외의 인력을 충원하는데 인색했음.
- 아무리 시간이 촉박하다고는 하나, 음원 1만개 수집에 동원된 인원이 세손가락 안에 꼽히는건 비합리적인 운영이었음. 이 소수의 인원마저도 맡은 업무에 전문적인 인력이었다고 보기 힘들었음. 결국 이들의 미숙함이 초기에 계획된 [납기]를 크게 맞추지 못하는 요인이 됨.
- [국악 데이터 라벨링] 자체도 전문적인 [고학력]인력을 요구할 만큼 어려운 작업으로 정의, 학력과 무관하게 누구에게도 직관적이어야 할 [인공지능]을 위한 [크라우드 워커]의 라벨링 업무와는 거리가 있었다고 보여짐. 라벨링에 대한 기준은 한 명의 [선생님]의 개인 의견이 강하게 반영된 결과로, 라벨링 결과물에 있어 신뢰도가 떨어짐.

2023년도 사업에 대한 의견
- 내년도 사업을 계획한다면, 현재 제시된 계획안보다 advance된 아이디어가 제시되어야 함.
- 그러나 올해 사업 계획에서 꿈같은 이야기를 늘어놓고 제대로 실현되지 않은 관계로 연장여부는 불투명함. 현재 [AI의 성능]을 논할 필요도 없이 데이터셋 자체의 품질 조차도 납기 내에 수량을 맞추지 못하고 그나마 수집된 데이터도 신뢰도가 떨어지는 상태임.
- 이제와서 [정공법]으로 계획을 제시할 경우 [사업 성과]측면에서 그리 아름답지 못할 것이라 우려됨.