Research

- Robot Intelligence -


▶ Dynamic Context Management


Object

·   동적으로 변화하는 주변 환경에 대한 올바른 상황 인식(context awareness)과 상황 이해(context understanding) 능력
·   실시간으로 입력되는 다양한 센서 데이터로부터 신속히 의사 결정(decision making)에 필요한 고 수준의 상황 지식(high-level context knowledge)을 생성
·   실시간성을 만족할 수 있는 시-공간 추론(spatio-temporal reasoning)

Approach

·   다양한 종류의 센서와 인식 시스템들을 통합적으로 이용하기 위해, 이들과의 동기 인터페이스와 비-동기 인터페이스를 함께 제공
·   체계적인 상황 지식 생성을 위해 상황 지식 표현의 근간이 되는 개념 계층(concept hierarchy)과 관계 계층(property hierarchy)을 하나의 포괄적인 온톨로지(ontology)로 정의하고 이용
·   온톨로지 지식은 설명 논리(Description Logic, DL) 기반의 온톨로지 언어인 RDF와 OWL로 표현, 반면에 사물과 개념, 그리고 그들 간의 관계들이 만족해야 하는 다양한 공리(axiom)와 추론 규칙(reasoning rule)들은 표현력(expressive power)과 추론의 효율성(reasoning efficiency)을 고려하여 Horn 논리 기반의 Prolog 규칙들로 표현
·   상황 지식 관리와 추론의 효율성을 극대화하기 위해, 저 수준의 상황 지식은 센서 및 인식 데이터가 입력될 때마다 실시간적으로 생성, 반면에 고 수준의 상황 지식은 의사 결정 모듈에서 요구가 있을 때만 후향 시-공간 추론(on-demand, backward, spatio-temporal reasoning)을 통해 생성되도록 알고리즘을 설계

▶ Learning Task Plans from Demonstration

▶ Undergraduate Project : Messenger-Bot


Object

·   동일 실내 환경 내 서로 다른 방들에 있는 사람들에게 로봇이 돌아다니며 공지사항(예컨대, “점심 시간입니다”)을 전달하는 서비스 프로그램을 개발
·   요구 기능: 음성 인식(speech recognition), 음성 발화(text-to-speech), 실내 공간 지도 작성(mapping), 이동 경로 계획(path planning), 내비게이션(navigation)

Development Environment

·   SW: Ubuntu Linux, ROS(Robot Operating System), Python language
·   HW: Simulated Turtlebot2 in ROS Gazebo
·   Packages: Rospeex, SLAM_Gmapping, Global/Local Planner, Navigation

Design

▶ Undergraduate Projec t: VQA-Bot


Object

·   카메라 영상 정보로부터 로봇 앞에 놓인 물체들을 인식(visual object detection)
·   물체들이 놓여 있는 위치 관계(spatial relationship)에 관한 공간 추론(spatial reasoning)을 수행
·   물체들의 위치 관계에 관해, 사람과 자연어(natural language)로 질문하고 답하는 서비스(question-answering service)를 제공

Development Environment

·   SW: Ubuntu Linux, ROS(Robot Operating System), Python language
·   HW: Turtlebot2 with MS Kinect sensor
·   Find_Object_2D, QSRlib, Pocketsphinx, Sound_Play

Design


- Computer Vision -


▶ Deep Neural Network based Image Cationing


Object

·   효과적인 이미지 캡션 생성(image captioning)을 위해서는 언어 모델과 시각 모델 모두 필요
·   언어 모델(language model)과 시각 모델(visual model)의 효과적인 결합 방식에 관한 연구
·   이미지 캡션 생성에 유리한 순환 신경망 유닛(recurrent unit) 에 관한 연구

Approach

·   멀티 모달 순환 신경망(multimodal recurrent neural network) 모델 제시
·   시각 특징 추출을 위해 고성능의 Inception v3 convolutional neural network을 채택
·   시각 모델과 언어 모델을 결합하는 다양한 네트워크 구조(network structures) 비교와 최적 구조 제시
·   캡션 정확도(caption accuracy)와 모델 전이(model transfer) 면에서 LSTM와 GRU 유닛들의 성능 비교

Application

▶ 3D Scene Labeling


Object

·   2차원 RGB-D 비디오 영상(video images)을 이용하여 포인트 클라우드(point cloud) 형태의 3차원 장면을 복원(3D scene reconstruction)하고, 해당 장면에 포함된 물체들을 탐지하여 레이블링(object labeling)
·   3차원 장면을 구성하는 모든 포인트의 레이블을 결정하기 위해서는 높은 계산 복잡도(high computational complexity) 요구
·   각 포인트의 지역적 특성들(local features)만으로는 정확한 레이블 추정이 어려움. 다양한 문맥적 특성들(contextual features)이 고려되어야 함.

Approach

·   복원된 3차원 포인트 클라우드를 복셀(voxel) 단위로 세그먼테이션(segmentation)
·   각 복셀이 속한 물체 유형(object category)을 추정하여 레이블을 결정
·   확률 그래프 모델(probabilistic graphical model)의 하나인 MRF(Markov Random Field) 을 이용하여 레이블 추정(label estimation)
·   노드 평가(node potential)를 위해 물체 탐지기(object detector)와 3차원 위치 사전 확률 지도(3D location prior map)을 활용
·   에지 평가(edge potential)를 위해 다양한 기하학적 제약들(geometric constraints)을 이용

Application

▶ Hierarchical Feature Learning for Object Recognition

Object

·   컬러(RGB) 영상은 물체의 색상과 텍스처(Texture)정보가 풍부하지만, 기하학적 정보가 부족
·   깊이(Depth) 영상은 물체의 입체적 모양 정보를 직접 표현하지 못함
·   사람이 만든 특징(human-designed feature)들의 일반화 한계
·   범용적으로 이용 가능한 특징 학습 방법 제시

Approach

·   깊이 영상을 전처리(Pre-processing)하여, 모양(shape) 정보 추측에 유리한 법선 벡터(Normal Vectors)로 변환
·   법선 벡터와 컬러 영상을 함께 물체 인식 시스템의 입력으로 사용
·   낮은 레벨(low-level)과 높은 레벨(high-level)의 정보를 모두 활용 가능한 계층적 특징 학습(Hierarachical Feature Learning)을 통해, 물체 인식에 효과적인 특징 자동 추출

Application

▶ 3D Scene Reconstruction


Object

·   카메라로부터 입력되는 RGB-D 영상(image)을 기반으로 주행 거리를 측정(odometry)
·   측정된 주행 거리를 최적화(optimization)하여 3D 장면 재구성(scene reconstruction)
·   주행거리의 오차(error)로 인한 드리프트(drift) 발생 문제점

Approach

·   주행 거리 오차를 줄이기 위해 특징을 추출(feature extraction)하고, 추출된 특징 중 정상집합 선별(inlier detection) 및 정제(refine)
·   정제된 정상집합의 재투영 에러 최소화(reprojection error minimization)를 통한 주행거리 측정
·   측정된 주행거리를 최적화하여 3D 장면 재구성

Application

▶ Visual Loop Closure Detection


Object

·   카메라의 이동 경로 중 과거에 지나온 위치나 장소를 재방문(revisit) 한 지점을 자동으로 탐지
·   방문하는 장소가 증가할수록 루프 결합 탐지(loop closure detection)를 위해 저장되는 영상이 증가
·   저장되는 영상이 증가할수록 영상들 사이의 비교 연산이 증가

Approach

·   카메라의 주행거리(odometry)를 기반으로 키 프레임(key frame) 영상을 선택
·   선택된 키 프레임 영상을 DBoW 이미지 데이터베이스 시스템을 이용하여 저
·   현재 입력된 영상과 데이터베이스에 저장된 영상과의 비교를 통해 루프 결합을 탐지

Application

▶ Gesture Recognition with RGB-D Camera


Object

·   카메라에서 입력된 영상으로부터 실험자의 제스처(gesture)를 판별
·   RGB-D 카메라로부터 실험자의 관절 좌표 (joint coordinate) 데이터를 획득
·   관절 좌표 데이터는 추정으로 인한 불확실성,(uncertainty), 시점 변화(view variant), 폐색(occlusion), 자기 폐색(self-occlusion), 조명 여건 등의 문제를 내포함

Approach

·   양 팔의 관절 위치 (joint position) 정보를 이용한 제스처를 인식
·   카메라의 시점 변화 문제를 고려하여 관절의 위치(position) 정보를 각도(angle) 정보로 특징 변환(feature transform)
·   제스처의 시간에 따른 순차성 및 관절 좌표 데이터의 불확실성을 고려하여 확률 그래프 모델(probabilistic graphical model)을 학습 모델로 사용

Application

▶ Human Activity Recognition with RGB-D Camera

Object

·   관절 좌표(joint coordinate) 데이터로부터 실험자의 일상 행위를 인식하는 기술
·   RGB-D 카메라에서 추정된 관절 좌표 데이터는 추정의 불확실성(uncertainty), 시점 변화(view variant), 크기 변화(scale variant), 자기 폐색(self-occlusion)의 변화 등의 문제를 내포함
·   일상 생활에서 수행되는 행위들은 여러 개의 부속 행위(sub-activity)들의 반복으로 구성됨

Approach

·   관절 좌표 데이터가 가지는 시점 변화 문제를 해결하기 위해, 구면좌표계(spherical coordinate system)를 이용
·   관절 좌표 데이터가 가지는 크기 변화 문제를 해결하기 위해, 크기 정규화(scale normalization)을 적용
·   일상 행위들이 가지는 계층성(hierarchical)과 순차성(sequential)을 고려하여 모델 학습에 확률 그래프 모델(probabilistic graphical model) 사용

Application


- Reasoning & Learning on Big Data/Knowledge -


▶ Exobrain wins at Korean quiz show

▶ WiseKB Demo : Spatial Reasoning

▶ Qualitative Spatial Reasoning


Object

·   컴퓨터가 인간처럼 상식 수준의 지식(common sense knowledge)을 기초로 자가학습하며, 질의응답(question answering)을 통해 전문가 수준의 지식(specialist knowledge)을 제공할 수 있는 SW에 대한 연구 필요
·   질문들에 효과적으로 답하기 위해서는 광범위한 지식 베이스(large-scale knowledge base)와 빠른 시공간 추론(fast temporal and spatial reasoning) 능력 필요
·   주요 장소들 사이의 방향(direction), 포함(containment), 그리고 경계(broad) 관계들에 대한 지식 표현(knowledge representation) 및 정성적 추론(qualitative reasoning)에 대한 연구 진행

Approach

·   다양한 사례의 공간 지식 베이스 분석을 통해 CSD(cone-shaped directional)-9과 RCC(region connection calculi)-8 관계들을 통합적으로 추론하는 변환 규칙(conversion rules) 발견
·   CSD-9 및 RCC-8 각각의 추론 규칙과 변환 규칙을 토대로 전향 공간 추론기(forward spatial reasoner) 및 후향 공간 추론기(backward spatial reasoner) 개발
·   맵리듀스(mapreduce) 기반의 대용량 공간 추론기(large-scale spatial reasoner) 개발

Application

▶ Knowledge Extraction from Open Data


Object

·   공간 지식(spatial knowledge)의 결핍 문제를 해결하기 위한 정량적 접근 방법(quantitative approach)
·   공간 객체들(spatial objects)의 기하학적 데이터(geometric data)로부터 임의의 두 공간 객체들 간의 공간 지식을 자동으로 추출하는 공간 지식 추출기(Spatial Knowledge Extractor) 개발
·   공간 지식의 표준 모델(OGC standard) 및 두 공간 객체 사이의 위상 관계(topological relation)와 방향 관계(directional relation) 추출 방법에 대한 연구 진행

Approach

·   다양한 기하학적 데이터의 온톨로지(Ontology) 및 좌표 참조 시스템(CRS) 고려
·   위상 관계만 표현 가능한 OGC standard 확장
·   두 기하학적 데이터 간 위상 관계 계산을 위한 DE-9IM(Dimentionally Extended nine-Intersection Model)
·   두 기하학적 데이터 간 방향 관계 계산을 위한 MBR(Minimal Bounding Rectangle) Model

Application

▶ Spatial Query Processing

Object

·   공간 객체들(spatial objects) 간의 다양한 정성적, 정량적 질의 처리가 가능한 공간 질의 처리 시스템(spatial query processing system) 개발
·   기존의 공간 질의 언어(GeoSPARQL)들은 방향 관계(directional relationships)에 대한 질의 기능이 존재하지 않음
·   기존의 공간 질의 처리 시스템은 추론(reasoning)을 통해 새로운 지식을 답으로 유도하는 기능이 존재하지 않음

Approach

·   기존의 GeoSPARQL 질의 언어에 방향 관계 질의가 가능한 새로운 질의 언어인 GeoSPARQL-D 제시
·   질의 처리 이전에 공간 추론기인 QUSAR를 이용해 전향 공간 추론(forward spatial reasoner)을 수행하여, 풍부한 질의 결과 도출

Application


- Mobile Sensing -


▶ WiFi Localization & Mapping


Object

·   GPS 수신이 어려운 실내에서 WiFi 신호를 이용하여 신호지도(fingerprinting) 방식을 이용하여 스마트폰 사용자의 실시간 위치 추적(localization)과 신호지도 생성(mapping) 방법 개발
·   신호지도 방식은 위치 추적 정확성은 높지만, 신호지도 구축에 매우 많은 시간과 노력 필요
·   실내연속공간 (open space) 에서 효과적인 사용자 실시간 위치 추적 방법 필요

Approach

·   신호지도 구축의 어려움을 보완하는 방법으로 다수의 사용자가 신호지도를 생성하는 군중-제공 지도 작성 (crowd-sourced mapping) 방식 적용
·   WiFi SLAM(simultaneous localization and mapping) 알고리즘을 이용하여 위치 추적과 동시에 자동으로 신호지도를 생성
·   위치 신뢰도 (location confidence), 신호 일관성(consistency of the signal strength) 검사를 통해 다수의 사용자로부터 수집한 WiFi 신호지도의 효과적인 공유 및 지속적인 갱신
·   파티클 필터(particle filter) 기반의 실시간 전역 위치 추적(global localization)

Application

▶ Gesture Recognition using Accelerometer


Object

·   제스처(gesture)를 이용한 사람과 컴퓨터 간의(human-computer interaction) 비언어적 의사소통(nonverbal communication)에 관한 연구 필요
·   3차원 공간(3-dimensional space) 상에서 스마트폰(smartphone)의 역동적인 행동 패턴(dynamic behavior pattern)을 분석할 필요
·   모바일 환경(mobile environment)의 한정된 계산 자원(limited computational resources) 문제
·   가속도 센서 측정값(accelerometer data)의 오차(noise) 및 사용자 간의 편차(user deviation) 문제

Approach

·   Dynamic time warping(DTW) 알고리즘을 기반으로 시간(time)이나 속도(speed)가 다른 두 시퀀스 데이터(two sequence data) 간의 유사도(similarity) 측정
·   DTW는 적은 학습 데이터(less training data)를 요구하며, 빠른 인식 속도(faster recognition speed)가 장점
·   유사도 행렬(similarity matrix) 기반의 대표 집단 추출(exemplar group extraction)을 통한 제스처(gesture)의 개인화(personalization)와 다양성(diversity)을 고려

Application

▶ Scene Recognition with Sound Sensor


Object

·   마이크로폰을 통해 입력되는 사운드 데이터로부터 데이터의 발원이 되는 장면을 인식(scene recognition)
·   사운드 데이터에 많은 소음(noise)이 혼재되어 있거나 의미 있는 사운드 데이터의 볼륨이 낮은(low volume) 문제점
·   사운드 데이터 처리를 위해 소모되는 모바일의 제한된 계산 자원(limited computational resources) 문제점

Approach

·   전처리 단계의 필터링(filtering) 을 통해 화이트 노이즈(white noise)와 고요한 사운드(silence) 여과
·   볼륨이 낮은 의미 있는 사운드 데이터 증폭(amplification)
·   사운드 신호 처리에 뛰어난 특징을 추출(feature extraction)하고, 순차 데이터 학습에 우수한 HMM 학습 알고리즘(learning algorithm) 사용

Application

·   자동 감시 시스템(automatic surveillance system), 홈 케어 시스템(in-home care system), 원격 제조 및 재배(remote manufacturing and agriculture) 등 다양한 분야에 유용하게 활용 가능

▶ Mobility Pattern Mining

Object

·   사용자들의 대용량의 GPS 위치 데이터로 부터 다음 방문 장소 예측(Next Place Prediction)을 위한 맵리듀스(MapReduce) 기반의 이동 패턴 마이닝 시스템 개발
·   사용자들의 대용량의 GPS 위치 데이터로 부터 주요 장소 추출(POI extraction)
·   각 사용자의 이동 궤적 데이터들을 이용하여 사용자들의 이동 패턴 모델(mobility pattern model) 표현

Approach

·   대용량의 GPS 위치 데이터로 부터 K 평균 군집화(K-means clustering)을 적용하여, 주요 장소 추출
·   사용자들의 이동 궤적 데이터로 부터 HMM 모델(hidden markov model)을 학습하여, 이동 패턴 모델 표현

Application