Projects

  환자의 인지, 행동, 감정을 평가하고 의료진단을 보조하는 인공지능  
(AI that helps assess and diagnose patients' cognition, behavior, and emotion)


 VR-EP-EEG-MRI 디지털 바이오마커 기초연구실
(VR, EP, EEG, MRI Data Aggregation for Digital Dementia Biomarker)
2021.06. ~ 2024.02. funded by the Ministry of Science and ICT (KRW 1.2 billion)

치매진단은 행동적 지표(VR), 생리학적 지표(EP), 신경 지표(EEG, MRI) 등 다면적 지표의 측정을 통해 이루어집니다. 현재 VR, EP, EEG, MRI 각각의 개별 지표에 대한 연구는 진행되고 있지만, 지표들 사이의 관계 및 다면적 지표를 하나로 통합할 방법은 아직 불분명합니다. 나아가 이렇게 통합된 정보를 치매조기진단에 활용하기 위해서는 공학과 임상의 융합연구가 필요합니다. 본 기초연구실은 최신 딥러닝 기술(예: TSC-CNN, Multimodal Deep Learning 등)을 활용해 1) 치매조기진단에 있어 VR, EP, EEG, MRI 지표들 사이의 관계를 규명하고, 2) 임상에서 활용가능한 "VEEM 디지털 바이오마커"를 세계 최초로 개발하고자 합니다.

Dementia diagnosis can be implemented by assessing multifaceted measures including behavioral (VR), physiological (EP), and neural performance (EEG, MRI). Currently, research on individual measures of VR, EP, EEG, and MRI is in progress, but the relationship between the measures and how to integrate multi-faceted measures into one is still unclear. Furthermore, to utilize this integrated information for early diagnosis of dementia, convergence research between engineering and clinical is required. Using the latest deep learning technology (e.g., TSC-CNN, Multimodal Deep Learning, etc.), this basic research laboratory aims 1) to identify the relationship between VR, EP, EEG, and MRI measures in early diagnosis of dementia, and 2) to develop “VEEM Digital Biomarkers” that can be used in clinical practice for the first time in the world.

 가상현실 속 치매조기진단을 위한 VR 디지털 바이오마커 
(Developing Digital Biomarker for Early Diagnosis of Dementia in VR)
2021.03. ~ 2024.02. funded by the Ministry of Science and ICT (KRW 550 million)

치매는 비가역적 질병이기 때문에 조기진단이 매우 중요합니다. 일상생활 수행능력 평가는 치매조기진단에 가장 많이 활용되는 측정 지표입니다. 현재 임상에서는 설문지 또는 컴퓨터 기반 테스트를 통해 일상생활 수행능력을 평가합니다. 그러나 설문지는 주관적 응답으로 인해 결과가 왜곡될 가능성이 높으며, 컴퓨터 기반 테스트는 마우스, 키보드와 같은 단순한 입력 장치의 한계로 인해 생태학적으로 타당한 평가가 어렵습니다. 본 우수신진연구는 1) 가상현실 속 자연스러운 일상생활 수행을 통해 치매를 조기에 진단하는 "의료 메타버스"를 구축하고, 2) 여기서 수집된 데이터를 딥러닝 분석한 "VR 디지털 바이오마커"의 치매조기진단 성능을 검증합니다.

Since dementia is an irreversible disease, early diagnosis is very important. Daily living performance evaluation is the most used measure for early diagnosis of dementia. Currently, clinical practice assesses daily living performance through questionnaires or computer-based tests. However, the questionnaire is likely to distort the results due to subjective responses, and the ecologically valid evaluation of computer-based tests is difficult due to the limitations of simple input devices such as mouse and keyboard. This research project aims 1) to establish a “Medical Metaverse” that diagnoses dementia early through virtual daily living tests, and 2) to verify the early dementia diagnosis performance of “VR Digital Biomarker” that analyzes the collected data through deep learning.

 

 공동주의 메커니즘을 이용한 다중혼합현실 시스템 [완료]
(Multi-user Mixed Reality using Joint Attention Mechanism) [Completed]
2019.09. ~ 2020.08. funded by the Ministry of Science and ICT (KRW 50 million)

원격 다중 사용자간의 협업(예: 의료진과 환자의 원격진료)은 현재 COVID-19 상황속에서 매우 중요합니다. 그러나, 다중 사용자 협업 상황에서 각 사용자의 인지 능력에 대한 고려가 부족하기 때문에 효과적이고 효율적인 다중 사용자 협업이루어지기 어렵습니다 (예: 원격진료를 통해 질병에 대해 논의하고 파악하기 어려움). 본 박사후국외연수 프로젝트는 원격 사용자 간의 공동주의 메커니즘을 활용하여 "자연스러운 다중 사용자 협업 경험"을 가능하게 하는 것을 목표로 했습니다 (예: 의료진, 환자의 원격진료 경험 향상).

Remote multi-user collaboration is critical in the current COVID-19 pandemic. However, it is difficult to promote effective and efficient multi-user collaboration because there is a lack of consideration for each user's cognitive abilities in a multi-user collaboration situation. The project aimed to enable a "natural multi-user collaboration experience," taking into account the joint attention mechanism between remote users.