고려대, 손가락 동작 및 제스처 인식 가능한 인공지능 광센서-뉴로모픽 전자소자 기반 전자피부 개발

왕건욱 교수팀 연구 결과, Nature Electronics 게재 및 Nature Electronics News and view 소개

[에너지경제신문 송기우 에디터] 고려대학교(총장 김동원) KU-KIST융합대학원/융합에너지공학과 왕건욱 교수 연구팀과 아주대 정보통신대학 전자공학과(원소속)/지능형반도체공학과(중복배속) 박성준 교수 연구팀은 피부 미세 주름에도 밀착할 수 있는 초박막 형태의 유기 광반응 센싱 소자와 뇌모방 인공 시냅스 소자를 1마이크론 (머리카락 두께의 1/100) 수준의 초박막 기판 위에 성공적으로 개발 및 결합해 손가락 동작 인식이 가능한 전자피부를 공동 개발했다.

사물 인터넷(IoT), 첨단 센싱 및 인공 지능 기술의 결합은 사람들의 자연스러운 움직임을 실시간으로 취득, 인지, 해석하는 것이 가능하다. 사람의 간단한 움직임으로 다양한 명령을 수행하는 것을 가능케했고, 이러한 기술은 메타버스를 비롯한 가상현실 및 실시간으로 취득한 생체신호 진단 등의 영역으로 확장 가능해 학계의 큰 주목을 받고 있다.

특히 손가락 동작 인식은 신체를 활용한 움직임 중 가장 표현의 자유도가 높고 직관적인 비언어적인 표현을 전달할 수 있어 이를 해석하고자 하는 움직임이 많았으나, 기존 방식은 크고 고정된 센싱 장비를 활용하거나 공간의 제약을 받거나, 신호 인식 처리를 위한 알고리즘이 복잡하여 시간 및 에너지 소모가 높아 일상적인 적용이 어렵다는 한계가 있다.

▲ 그림 1. (a)유기 광반응 소자-인공 시냅스 소자를 활용한 손가락 동작 인식 플랫폼의 빛이 있는 3차원 공간에서의 인식 과정 모식도. (b)손가락 피부 표면에 부착된 초박형 인공 시냅스 어레이 소자 장치 실제 사진. (c)모형 손가락 위에 부착된 초박형 인공 시냅스 어레이 소자 LTP/LTD 특성. (자료=고려대)

이번 연구에서 개발된 전자피부 형태의 모션인식 플랫폼은 초박막의 저전력 고효율 신호 처리에 특화된 인공 시냅스 어레이 소자와 고효율 유기 포토다이오드를 결합하는 방식으로 제작되어 손가락 움직임을 광신호에서 전기적신호로 변환하고 신호 패턴의 학습을 통해 높은 정확도의 인지능력을 보여준다(그림 1). 또한 1 마이크론미터 두께의 기판을 활용해 소자의 강성도를 최소화해 반복적인 기계적 변형에서도 안정하면서 피부의 표면에 밀착하여 자연스러운 움직임을 가능하게 했다.

▲ 그림 2. (a)광원과 유기포토다이오드 사이의 거리변화에 대한 출력전압 변화의 실험 모식도. (b)빨간색 및 녹색 LED 조명안에서 거리에 거리변화에 대한 출력전압 변화 특성. (c)손가락 피부 표면에 부착된 초박막 유기 광반응 센싱 소자의 실제 사진. (d)숫자 3을 그리는 손가락 움직임에 대한 x축과 y축의 출력전압 변화 특성. (e)손가락 움직임에 의한 3차원 궤적. (자료=고려대)

초박막 유기 포토다이오드를 활용한 피부부착형 근거리 광학센서는 손가락 피부 계면에 안정하게 정합 되어 x 축의 녹색, y 축의 적색광 아래에서 90mV/mm의 높은 감도로 거리에 따른 광감지 성능을 보이며, 2차원 수광 환경에서 한붓그리기 방식으로 자유롭게 손가락 움직임에 따라 숫자 패턴, 알파벳, 간단한 제스쳐 등 시간에 따른 모션 변화를 정확하게 감지할 수 있다(그림 2).

▲ 그림 3. (a)초박막 인공 시냅스 어레이 소자 인장 내구도 실험 모식도. (b)0~60%까지 압축된 초박형 인공 시냅스 어레이 소자 실제 사진. (c)초박막 인공 시냅스 어레이 소자의 60% 변형에서 6,400회 반복 입력 신호에 대한 동작 내구성 결과. (d)시간에 따른 자유 공간에서 이동하는 손가락에 부착된 초박막 유기포토다이오드에 의해 획득된 그리기 숫자 3과 순차적 이미지 재구성 과정. (e)10회의 반복된 학습 시행횟수(epoch) 후 손가락 글씨(0-9)에 대한 가중치(w) 분포. (f)3D 자유 공간에서 숫자 3에 대한 손가락 쓰기 동작 (g)변형률에 따른 초박형 인공 시냅스 어레이 소자의 반복 사이클 수 및 그에 따른 인식 정확도. (자료=고려대)

초박막 뉴로모픽 소자는 피부 표면에 밀착하여 피부의 움직임에서도 최대 60%의 변형에서 6,400회의 반복적인 입력 신호를 처리할 수 있다. 또, 1,200회에 달하는 반복적인 인장에서도 내구성을 입증하였다. 개발한 플랫폼을 통해 최대 95%에 해당하는 인식 정확도를 확인하여 개발한 플랫폼의 실용 가능성을 확인하였고, 한 사람의 손가락 움직임 외에도 다양한 부착 환경과 서로 다른 사람 간의 손가락 움직임도 교차로 인식 가능함을 확인했다(그림 3).

▲ (왼쪽부터) 조해인(고려대, 제1저자), 이인호(아주대, 공동 제1저자), 장진곤 연구교수(고려대, 공동 제1저자), 박성준 교수(아주대, 공동 교신저자), 왕건욱 교수(고려대, 공동 교신저자)

고려대 KU-KIST 융합대학원 석박통합과정 조해인 학생과 아주대 지능형반도체공학과 석박통합과정 이인호 학생, 고려대 장진곤 박사가 공동 제1저자로, 아주대 전자공학과/지능반도체공학과 박성준 교수와 고려대 KU-KIST 융합대학원 융합에너지공학과 왕건욱 교수는 공동 교신저자로 참여했다.

이 연구는 연구재단 ‘우수신진연구’, 한국산업기술평가관리원 ‘시장주도형k-센서기술개발사업’, 미래창조과학부 ‘대학ICT연구센터육성지원사업’, ‘중견연구’, ‘나노소재원천기술개발사업’, ‘국제연구교류지원사업’, ‘4단계 BK 21 사업’, ’창의·도전연구 기반지원’ 한국과학기술연구원 ‘위탁연구’의 지원을 받아 유연 전자 소자 분야의 세계적인 학술지인 ‘Nature Electronics’紙 (2022년 기준 인용지수 IF=34.3, IF%=0.362)에 올해 8월 10일 온라인 게재됐다. (논문 제목 : Real-time finger motion recognition using skin-conformable electronics)