논문 출처 ➡️ https://dl.acm.org/doi/10.1145/3586183.3606821
SmartPoser: Arm Pose Estimation with a Smartphone and Smartwatch Using UWB and IMU Data | Proceedings of the 36th Annual ACM Sym
ABSTRACT The ability to track a user’s arm pose could be valuable in a wide range of applications, including fitness, rehabilitation, augmented reality input, life logging, and context-aware assistants. Unfortunately, this capability is not readily avail
dl.acm.org
요약 ➡️ The paper introduces SmartPoser, a novel system enabling 3D arm pose tracking using commonly-owned devices: a smartphone and a smartwatch. By combining inertial measurement unit (IMU) data with ultra-wideband (UWB) range measurements, SmartPoser achieves accurate arm pose estimation without the need for external infrastructure. Notably, the UWB measurements provide absolute distance between the devices, enhancing stability and accuracy compared to prior methods reliant on relative data prone to drift. The system's software-only approach allows for real-time tracking, even while the user is in motion. Despite its simplicity, SmartPoser achieves a median positional error of 11.0 cm for wrist and elbow joints, rivaling systems requiring specialized hardware. While the current implementation assumes the phone is in a front pocket, the system could adapt to various pocket locations with additional spatial references. However, tracking accuracy may decrease if the phone is carried in a bag due to increased variability in positioning. Nonetheless, SmartPoser presents a promising pathway for widespread adoption of arm-based tracking and interactions, offering a practical solution for diverse applications such as fitness, rehabilitation, and context-aware assistants.
ABSTRACT
사용자의 팔 자세를 추적할 수 있는 능력은 피트니스, 재활, 증강 현실 입력, 라이프 로깅, 그리고 컨텍스트 인식 어시스턴트와 같은 다양한 응용 분야에서 가치가 있다. 그러나 이 능력은 일반 소비자에게 쉽게 이용할 수 있는 상태가 아니다. 기존 시스템은 개인 정보 보호 문제를 안고 있는 카메라가 필요하거나, 여러 개의 착용형 IMU나 마커를 사용해야 한다. 본 논문에서는 오프 더 셀프 스마트폰과 스마트워치가 함께 작동하여 팔 자세를 정확하게 추정하는 방법을 소개한다. 우리는 이전 연구를 넘어서, 최근 초광대역(UWB) 기능을 활용하여 두 장치 간의 절대 거리를 측정한다. 이 측정치는 상대적이고 drift에 취약한 관성 데이터와 완벽하게 보완된다. 우리의 소프트웨어 기반 접근 방식의 성능을 일반적인 소비자용 장치를 사용하여 정량화하여, 사용자가 훈련 데이터를 제공하지 않아도, 손목과 팔꿈치 관절을 중앙 위치에서 11.0cm의 중간 위치 오차로 추정할 수 있음을 보여준다.
INTRODUCTION
현대 스마트워치가 손목에 착용되어 있음에도 불구하고, 현재 스마트워치는 사용자의 다리, 폐, 심장에 대해 팔보다 더 많은 정보를 가지고 있다. 예를 들어, 스마트워치는 이동 방식을 예측하고, 총 걸음 수를 추적하며, 호흡과 심박수를 측정할 수 있다. 그러나 손씻기 탐지와 같은 특정 사용 사례를 제외하고는, 팔과 손의 활동은 알려지지 않았다. 우리가 팔을 더 잘 추적할 수 있다면, 우리는 피트니스, 재활, 라이프 로깅, 직업 교육, 그리고 컨텍스트 인식 어시스턴트와 같은 더욱 정교한 응용 프로그램을 구동할 수 있다. 본 논문에서는 오프 더 셀프 스마트워치와 스마트폰만 사용하여 새로운 팔 자세 추적 방법인 SmartPoser를 제안한다. 우리의 기술은 소프트웨어만으로 구현되어 최신 장치에 오버-더-에어 업데이트 또는 앱 다운로드로 활성화될 수 있다. SmartPoser는 사용자가 움직일 때 추적을 수행할 수 있는 기능도 제공한다. 유니크하게도, 우리는 최근 초광대역(UWB) 기능을 활용하여 스마트워치와 스마트폰 간의 거리를 측정한다. 이것을 관성 데이터와 퓨즈하며, 중요한 UWB 측정치는 절대적이며, 대부분의 이전 작업에서 사용된 상대적 관성 데이터보다 덜 drift가 발생한다. 따라서 우리의 추적 결과는 보다 안정적이고 정확하다. 사용자 연구에서 손목과 팔꿈치 관절의 중간 위치 오차가 11.0cm인 것을 확인했다. 이는 이전에 희귀 하드웨어를 필요로한 이전 작업과 유사하다. 이 연구의 주요 성과는 다음과 같다: 1) UWB와 IMU 데이터를 결합한 팔 자세 추적의 자체 및 소프트웨어 기반 접근 방식은 이전 사례를 찾기 힘들다. 2) 두 개의 흔한 소비자 장치를 사용한 실시간 구현. 3) 사용자 연구는 특수한 사용자 계측 장치나 외부 인프라가 필요 없는 시스템 중에서 최상의 추적 정확도를 보여준다. 4) 오픈 소스로 제공된 UWB/IMU/Kinect 데이터, 처리 파이프라인 및 훈련된 모델이다.
LIMITATIONS & FUTURE WORK
이 연구의 개념 증명 구현이 우리의 방법의 실행 가능성을 보여주지만, 유의할 만한 한계가 있다. 이 중 첫 번째는 현재 작업이 전화기가 전면 주머니에 저장된 경우만 고려한다는 것이다. 일반적이지만 모든 경우에 해당하지는 않는다. 일반적으로 우리의 파이프라인은 후면 바지 주머니, 자전거 저지 주머니, 패니 팩까지 포함하여 다른 주머니 위치로 확장될 수 있다. 그러나 전화기가 꺼내져 손에 들려 있을 때, 몸에 대해 여러 가지 위치에 있을 수 있으므로 세 번째 공간 참조가 필요하다. 또한 사용자가 전화기를 어느 주머니에 보관하고 시계를 어느 손목에 착용하는지에 대한 정보가 필요하다. 이러한 정보는 일회성 설정 마법사에서 캡처될 수 있다. 그러나 모든 이러한 데이터가 있더라도 사용자는 현재 구현의 한계로 인해 보정 프로세스를 수행해야 한다. 이 프로세스는 참가자들이 장치를 서로 가까이 가져다놓고, 그 후 팔을 T자 모양으로 취해 IMU 기준 프레임을 정렬해야 함을 의미한다. 사용하기는 한 번 불편하지만, 우리는 시스템이 보정을 장기간 유지할 수 있었다. 우리가 사용한 T자 모양은 특별한 것이 아니며, 사용자가 더 자연스럽게 수행하는 자세로 대체될 수 있다. 보정 프로세스가 한 가지 제스처(예: 팔을 몸 옆에 가져다 놓기)로 축약되면, 운동이나 재활 세션 시작과 같은 활동 시작 시 한 번 이 작업을 수행하는 것이 허용될 수 있는 맥락이 많을 것으로 기대된다. 여기에서는 구현 섹션에서 언급된 iOS UWB API의 향상된 추적 모드가 특히 유용할 수 있다. 이 모드는 전화기와 시계 간의 거리와 3D 각도를 모두 제공한다. 따라서 시계가 전화의 시야에 있는 경우, 전화는 시계에 대한 절대 위치를 알고 있으며 이를 사용하여 IMU 기준 프레임을 자동으로 보정할 수 있다. 추가 문제는 많은 사람들이 전화를 주머니에 보관하지 않는다는 것이다. 기능적인 주머니가 없는 여성 의복이 그것의 대표적인 예이다. 사람들은 가방이나 지갑에 전화를 넣기도 한다. 가방에 있는 전화와 시계의 위치를 추적하는 것은 주머니에 있는 전화와 비교하여 더 어려운 문제이다. 주머니 디자인에 변화가 있을 수 있지만, 전화는 대부분의 경우 몸의 동일한 영역에 있다. 이는 가방에서 전화의 가능한 위치 공간이 훨씬 크기 때문에 해당되지 않는다. 전화가 가방 안에서 움직일 수 있기 때문에 우리는 이러한 상황에서 SmartPoser가 잘 작동하지 않을 것으로 예상한다. 그러나 해결책으로, 우리 시스템은 전화 대신 미래에 UWB가 활성화 될 수 있는 다른 장치로 일반화할 수 있다. 예를 들어 스마트 안경이나 이어 버드와 같이 정적 위치에 다른 장치를 착용하는 것이다.
CONCLUSION
우리는 오프 더 셀프 스마트폰과 스마트워치를 사용하여 그들의 일반적인 착용 위치에서 3D 팔 자세를 추적하는 시스템인 SmartPoser를 소개했다. 우리의 접근 방식에서는 팔 자세 예측을 위한 최첨단 양방향 LSTM 모델을 기반으로 하며, 두 장치 간의 새로운 UWB 도달 시간 측정법과 관성 데이터를 퓨즈한다. 일반 소비자 장치를 사용함에도 불구하고, 이 기술은 이전에 없었던 UWB 범위가 IMU 데이터를 보완하는 방식으로 사용된다. 실제 활동 및 총 팔 동작을 포함하는 사용자 연구를 통해 우리의 접근 방식은 훈련 세트에 사용자 데이터가 없어도 손목과 팔꿈치 관절의 중간 위치 오차가 11.0cm임을 보여주었다. 이는 이전에 IMU 또는 UWB가 장착된 환경에서 전체 몸 관절 추적을 통해서만 달성되었던 추적 정확도 수준이다. 모두가 이 소비자용 형식으로 이러한 결과를 달성함으로써, 우리는 SmartPoser가 널리 사용되는 팔 기반 추적 및 상호 작용의 현실적인 경로를 제공할 것이라고 기대한다.
