제로샷 객체 인식·3D Pose 추정 시스템

개요

• 기간: 2026.08 – 현재 · (주)케이쓰리아이
• 컨베이어 환경에서 텍스트 프롬프트만으로 임의 물체를 인식하고, RGB-D 정보로 3D 위치·크기·방향을 추정하는 Robot Perception 파이프라인
• 물체별 추가 학습 데이터·CAD 모델 없이 새로운 대상 물체에 대응

실시간 데모

주요 개발 내용

• SAM3 기반 텍스트 프롬프트 객체 분할 — “thermos”, “book”처럼 텍스트로 대상 지정, 재학습 없음
• 하이브리드 추적 — SAM3는 5프레임마다 1회, 사이 프레임은 광학흐름으로 추적 → 9~13 FPS
• RGB-D 3D Pose 추정 — Depth를 Point Cloud로 변환 후 Open3D OBB로 위치·크기·방향 산출, 정지 물체 크기 실물 ±1cm, 회전 안정화로 축 뒤집힘 0회
• 가림(Occlusion) 대응 — 칼만 필터 기반 신뢰 판정으로 가림 중 pose 발행 보류, 재등장 시 동일 ID 유지
• ROS2 파이프라인 — 결과를 ROS2 Topic으로 발행, RViz 시각화, Isaac Sim 컨베이어 환경 연동 검증

ROS2 노드·토픽 구성

/perception/detections 발행 화면 — 가림 시 발행 보류

Isaac Sim 컨베이어 연동

SAM3 · ROS2 Jazzy · Open3D · RealSense D455 · RGB-D · Kalman filter · RViz · Isaac Sim · Docker

Code: github.com/ingon1026/pose-anything (MIT) · Docker: hub.docker.com/r/ingon1026/pose-anything