소식

May 16, 2023

HA4M 데이터 세트: 다중

과학 데이터 9권, 기사 번호: 745(2022) 이 기사 인용 2558 액세스 1 Altmetric Metrics 세부 정보 이 문서에서는 HA4M(제조 분야의 인간 활동 다중 모드 모니터링)을 소개합니다.

과학 데이터 9권, 기사 번호: 745(2022) 이 기사 인용

2558 액세스

1 알트메트릭

측정항목 세부정보

이 문서에서는 EGT(Epicycling Gear Train)를 구축하는 다양한 주체가 수행하는 작업과 관련된 다중 모드 데이터 모음인 HA4M(Human Action Multi-Modal Monitoring in Manufacturing) 데이터 세트를 소개합니다. 특히, 41명의 피험자는 12개의 동작으로 구성된 조립 작업에 대한 여러 번의 시도를 실행했습니다. 깊이 카메라, RGB 카메라 및 IR(InfraRed) 이미터를 통합하는 Microsoft® Azure Kinect를 사용하여 실험실 시나리오에서 데이터를 수집했습니다. 저자가 아는 한, HA4M 데이터 세트는 RGB 이미지, 깊이 맵, IR 이미지, RGB-깊이 정렬 이미지, 포인트 클라우드 및 뼈대 등 6가지 유형의 데이터를 포함하는 조립 작업에 대한 최초의 다중 모드 데이터 세트입니다. 데이터. 이러한 데이터는 컴퓨터 비전 및 기계 학습을 포함한 여러 분야와 스마트 제조 및 인간-로봇 협업과 같은 응용 분야에서 고급 동작 인식 시스템을 개발하고 테스트하기 위한 좋은 기반을 나타냅니다.

측정

제조 맥락에서 인간의 행동

기술 유형

Microsoft Azure Kinect 카메라

인간 행동 인식은 컴퓨터 비전1,2 및 기계 학습3,4 연구에서 활발한 주제이며, 기존 문헌5에서 볼 수 있듯이 지난 10년 동안 광범위한 연구가 수행되었습니다. 또한, 최근 깊이 카메라6를 포함하여 저가형 비디오 카메라 시스템이 널리 보급됨에 따라 영상 감시, 안전 및 스마트 홈 보안, 주변 생활 지원, 건강 등 다양한 응용 분야에서 관찰 시스템의 개발이 강화되었습니다. -케어 등등. 그러나 제조 어셈블리7,8,9에 대한 인간 행동 인식에 대한 작업은 거의 수행되지 않았으며 공개 데이터 세트의 가용성이 낮기 때문에 새로운 방법의 연구, 개발 및 비교가 제한됩니다. 이는 주로 작업 간 유사성, 작업의 복잡성, 도구 및 부품 조작, 미세한 동작 및 복잡한 작업과 같은 어려운 문제로 인해 발생합니다.

지능형 제조의 맥락에서 인간 행동을 인식하는 것은 다양한 목적에서 매우 중요합니다: 운영 효율성 향상8; 인간-로봇 협력 촉진10; 운영자를 지원하기 위해11; 직원 교육 지원9,12; 생산성과 안전성을 높이기 위해13; 또는 근로자의 정신 건강을 증진하기 위해14. 본 논문에서는 EGT(Epicycling Gear Train)를 조립하는 동안 RGB-D 카메라로 획득한 다중 모드 데이터 세트인 HA4M(Human Action Multi-Modal Monitoring in Manufacturing) 데이터 세트를 제시합니다(그림 1 참조). .

유성기어열의 조립과 관련된 구성요소입니다. 구성요소의 CAD 모델은 44에서 공개적으로 이용 가능합니다.

HA4M 데이터 세트는 조립 작업을 인식하는 기술과 방법론을 개발, 검증 및 테스트하기 위한 좋은 기반을 제공합니다. 문헌에는 제한되지 않은 실내/실외 환경에서 널리 획득되는 인간 행동 인식15,16,17을 위한 RGB-D 데이터 세트가 풍부합니다. 이는 대부분 일상적인 행동(걷기, 뛰기, 손 흔들기, 구부리기 등), 의학적 상태(두통, 허리 통증, 비틀거리기 등), 두 사람의 상호 작용(껴안기, 사진 찍기 등)과 관련이 있습니다. , 손가락질, 물건 주기 등) 또는 게임 동작(예: 앞으로 펀치, 테니스 서브, 골프 스윙 등). 표 1은 주요 특징을 설명하는 인간 행동 인식에 대한 가장 유명하고 일반적으로 사용되는 RGB-D 데이터 세트 중 일부를 보고합니다.

저자가 아는 한, 객체 조립의 맥락에서 비전 기반 데이터세트는 거의 존재하지 않습니다. 연구원은 일반적으로 개인 비디오 데이터7,18에 대해 자체 데이터 세트를 구축합니다. 표 2는 제안된 HA4M 데이터 세트를 조립 동작 인식에 대한 기존 데이터 세트와 비교합니다. 표 2에서 볼 수 있듯이 제안된 HA4M은 다양한 주요 기여를 제공합니다.