사용자 그림 기반 인터랙티브 캐릭터
손그림을 자동 인식·리깅하고 사용자의 몸동작·표정·음성을 적용하는 인터랙티브 캐릭터 기술.
개요
- 기간: 2026.03 – 2026.07 · (주)케이쓰리아이
- 사용자가 그린 캐릭터를 자동 인식·리깅하고, 모션·표정·음성을 적용해 움직이는 캐릭터로 변환
- 몸동작 애니메이션 → 표정 실시간 전이 → 말하는 캐릭터로 확장
① 몸동작 기반 Animated Drawing
- MediaPipe Pose로 웹캠에서 33개 신체 관절 추출 → BVH Motion 변환
- AnimatedDrawings로 손그림의 캐릭터 영역·관절 자동 인식 → 모션 리타게팅
- 웹캠 촬영·Rokoko·Mixamo 모션을 BVH 라이브러리로 통합 — 같은 모션을 여러 그림에 적용
객체 추출 → 관절 추출 → BVH 모션 결합
다중 캐릭터 동시 리타게팅
② 실시간 표정 전이 — DrawFace Live
- MediaPipe FaceLandmarker 478 랜드마크 → ARKit 52채널 blendshape 추출
- 손그림은 ARAP 기하 변형(원본 획 보존), 표준 비율 일러스트는 LivePortrait TensorRT 27~37ms (~30 FPS)
- 전부 브라우저 실행 — 서버 없음, 얼굴 영상 미전송
ARKit 52채널 기반 3D 표정 미러링
③ Talking Drawing Avatar
- 로컬 LLM(EXAONE 3.5)이 문장별 감정 판정 → edge-TTS 음성 톤과 표정에 동시 반영
- JoyVASA + LivePortrait로 발화 영상 생성 (입·이·구강 픽셀 생성), 전 과정 로컬 실행
- TensorRT 가속 + 프래그먼트 스트리밍 + 감정 판정 병렬화 → 재생 시작 4.8초 → 2.1초
MediaPipe · AnimatedDrawings · BVH · ARAP · ARKit 52ch · WebGL · LivePortrait · TensorRT · JoyVASA · EXAONE 3.5 · edge-TTS · FastAPI
Code: github.com/ingon1026/drawface-live · github.com/ingon1026/talking-drawing-avatar · Demo: HF DrawFace Live