논문 출처 ➡️ https://dl.acm.org/doi/10.1145/3411764.3445367
RadarNet: Efficient Gesture Recognition Technique Utilizing a Miniature Radar Sensor | Proceedings of the 2021 CHI Conference on
Mobile phones or video game controllers using gesture recognition technologies enable easy and intuitive operations. However, usually only one of each type of sensor is installed in each device, and the effect of multiple sensors on recognition accuracy ..
dl.acm.org
요약 ➡️ This paper introduces RadarNet, a novel gesture recognition technique utilizing miniaturized radar sensors for ambient computing. Traditional gesture recognition methods using cameras face challenges like high cost, battery consumption, and privacy concerns. RadarNet overcomes these limitations with a compact 60 GHz radar chip integrated into mobile devices. It recognizes directional swipes and omni-swipes with a custom-designed convolutional neural network, offering efficient performance for battery-powered processors. Evaluations with extensive datasets demonstrate RadarNet's efficiency, robustness, and suitability for real-world deployment. The algorithm satisfies key requirements for ambient gestural interactions, including always-on operation, reliability in various contexts, privacy preservation, small footprint, and invisibility. By leveraging radar sensing technology, RadarNet opens new possibilities for gestural interactions in ambient computing systems, paving the way for enhanced user experiences and seamless integration into diverse devices and environments.
Abstract
제스처는 터치스크린 등의 전통적인 입력 방식이 사용되지 않는 환경에서 주변 컴퓨팅의 입력 모달리티로서 유망한 후보이다. 기존의 연구는 이미지 센서를 사용한 제스처 인식에 초점을 맞추었다. 그러나 카메라의 비용, 높은 배터리 소비 및 개인정보 보호 문제로 인해 항상 켜져 있는 솔루션으로 카메라를 사용하는 것은 어려움이 있다. 본 논문에서는 소형화된 60 GHz 레이더 센서를 사용한 효율적인 제스처 인식 기술을 소개한다. 이 기술은 모바일폰에 통합된 레이더 칩(6.5 × 5.0 mm)을 사용하여 네 가지 방향으로의 스와이프와 옴니스와이프를 인식한다. 우리는 배터리 구동 및 계산적으로 제약된 프로세서에 효율적인 합성곱 신경망 모델을 개발했다. 우리의 모델 크기와 추론 시간은 기존의 레이더를 사용한 제스처 인식 기술과 비교하여 1/5000 이하이다. 우리의 평가는 558,000개의 제스처 샘플과 3,920,000개의 부정적인 샘플로 구성된 대규모 데이터셋을 사용하여 우리의 알고리즘의 효율성, 견고성 및 연구실 외부에 배치될 준비가 되었음을 보여준다.
Instruction
음성으로 활성화되는 스피커, 지능형 온도 조절기 및 대화형 의류와 같은 새로운 소비자 제품 세대는 주변 컴퓨팅 시스템의 일부 약속을 우리 집으로 가져왔다. Weiser가 침착한 기술에 대해 중요성을 강조한 바와 같이 기술이 어디에나 존재할 경우, 그것들은 방해되지 않아야 한다. 기술이 만능적으로 보편화되는 세상에서 주변의 일부로 살아가는 제품과의 상호 작용을 설계하는 것이 매우 중요하다. 제스처 입력은 주변 컴퓨팅 상호 작용에 유망한 후보이다. 이것은 눈에 보이지 않고 인지 부담이 적은 상호 작용을 디자인할 기회를 열어준다. 그러나 MIT의 초기 연구부터 최근의 Microsoft Kinect와 같은 제품 출시까지, 제스처 인식 기술에 대한 대부분의 연구는 주로 화면 상호 작용에 중점을 두었다. 주변 컴퓨팅 환경에서 제스처 상호 작용을 고려할 때 사용자가 주의를 기울이는 환경에서 기기와 상호 작용할 것이므로 다른 종류의 기술적 및 상호 작용 요구 사항을 고려해야 한다.
Method
Radarnet 알고리즘
본 섹션에서는 레이더를 사용한 제스처 인식을 위한 혁신적인 알고리즘인 RadarNet을 제시하고 검증한다. 본 논문에서는 RadarNet을 현재 짧은 거리에서 방향성 스와이프 제스처(즉, 위, 아래, 왼쪽 및 오른쪽 스와이프) 및 옴니스와이프(즉, 대각선을 포함한 모든 방향의 스와이프)를 인식하기 위해 적용하고 검증한다. 그러나 RadarNet의 기본 원칙은 일반적이며 레이더 센서를 사용한 제스처 인식의 다양한 새로운 알고리즘을 설계하는 데 사용될 수 있다.
Finding
Discussion
본 논문에서는 레이더 신호를 기반으로 한 제스처 인식 기술을 제안하였다. 우리의 기술이 인식할 수 있는 제스처 수는 현재 다섯 개로 제한되어 있다. 필요한 경우 더 많은 제스처를 인식할 수 있다고 생각되지만, 이를 확인하기 위해 추가적인 조사가 필요하다. 또 다른 한계는 우리의 데이터셋의 생태학적 타당성일 수 있다. 우리는 대량의 제스처 데이터를 수집했지만, 모든 참가자는 우리 조직 내에서 모집되었다. 따라서 데이터셋은 인구의 잠재적인 편향을 반영한다. 예를 들어, 노인이나 운동 장애를 가진 사람들에게는 알고리즘이 잘 작동하지 않을 수 있으며, 이는 제안된 기술의 접근성 영역에서의 적용을 제한할 수 있다.
Conclusion
본 연구는 주변 컴퓨팅 환경에서 제스처 상호 작용에 대한 다섯 가지 요구 사항을 충족시키는 혁신적인 스와이프 제스처 인식 기술을 소개했다. 제안된 기술은 개인 정보 보호를 유지하면서 스와이프를 인식한다. 우리의 레이더 감지 칩은 6.2 x 5.0 mm의 탁월한 작은 물리적 발자국을 가지며, 이를 통해 기기의 디자인을 영향받지 않고도 협소한 형태 요소 제약이 있는 기기에 통합할 수 있다. 우리의 실험 결과는 우리의 기계 학습 모델 RadarNet이 제한된 계산 리소스를 가진 기기에서 지속적으로 실행되는 효율성을 제공하면서도 실용적인 작업에 대한 신뢰할 수 있는 제스처 인식 성능을 제공함을 보여준다. 이러한 결과는 레이더 기반 제스처 입력이 주변 컴퓨팅 시스템과 상호 작용하는 유망한 후보임을 입증한다. 이는 다양한 기능, 형태 요소 및 엄격한 기술적 제약을 갖는 장치에 대한 제스처 상호 작용을 조사할 기회를 제공하며, 사용자 경험을 향상시키고 다양한 기기 및 환경에 시티하게 통합할 수 있다.
