초록:
본 연구는 실시간으로 사용자의 자세와 상황을 분석하여 그에 적합한 클래식 음악을 추천하는 사용 자 맞춤형 음악 추천 신경망(AI DJ)을 개발하고자 한다. 기존의 음악 추천 서비스는 사용자의 청취 이력을 기반으로 음악을 추천하지만, 이는 사용자의 현재 상황이나 분위기를 반영하지 못한다는 한 계가 있다. 따라서 본 연구에서는 카메라를 통해 실시간으로 사용자의 자세를 인식하고 분석하여 사용자의 현재 자세와 상황에 맞는 클래식 음악을 추천함으로써 심리적 안정감, 집중력 향상, 스트 레스 감소 등 다양한 긍정적 효과를 제공하고자 한다. 이를 위해 Roboflow에서 12개(Shoulder, Elbow, Wrist, Pelvis, Knee, Ankle 각각 2개씩) 관절이 포인팅 된 Skeleton을 통해 사용자의 자세를 standing, running, jumping, dynamic으로 분류하여 데이터 셋 제작과 라벨링을 진행하였다. 이후 YOLO v8을 사용하여 포즈 추정 모델을 만들었고 PyCharm에서 모델 성능을 테스트하여 정확도를 검증하였다. 60여 개의 클래식 음악을 사용자의 자세에 따라 분류하였으나 더욱 알맞은 클래식 음 악 추천을 위해 사용자의 자세 뿐만 아니라 시간대(morning, afternoon, evening)도 고려하여 적합 한 클래식 음악을 추천하는 기준을 늘리는 과정을 거쳤다. bpm, rms, tempo를 기준으로 클래식 음 악을 분류하는 코드를 Python을 통해 제작하였다. 최종적으로 Raspberry Pi를 통해 카메라를 연결 하여 실시간으로 사용자의 상황과 자세 분석을 시도하였다. 본 연구는 다양한 환경에서 적용 가능 하여 사용자에게 심리적 및 인지적 이점을 제공할 수 있는 새로운 맞춤형 음악 추천 기술을 제안하 고자 한다.
주제어: Roboflow, YOLO v8, 클래식 음악, 매칭 시스템, pose estimation bottom up