Research

Robot Intelligence


▶ Generating Robot Task Plans from Action Ontology

Objective

·   지능형 서비스 로봇이 길찾기(navigation), 조작(manipulation) 등의 행동(behavior)들을 수행하기 위해 실행 가능한 형태의 제어 모델(control model)을 자동으로 생성하는 방법에 관한 연구
·   로봇이 스스로 제어 모델을 얻어내기 위한 방법으로 개념적 행위 모델(conceptual action model)로부터 작업 계획(task plan)을 변형(translation)하는 것이 일반적임
·   온톨로지(ontology) 기반의 개념적 행위 모델을 설계하고 개념적 행위 모델로부터 작업 계획을 자동으로 생성해내는 방법을 제안

Approach

·   시맨틱 웹(semantic web) 온톨로지 언어인 OWL을 기반으로 행위들의 클래스 계층(class hierarchy)을 정의
·   행위들의 입력 매개변수(input parameter)와 실행 순서(ordering), 그리고 전-조건(precondition), 지속 조건(durative condition), 효과(effect) 등의 행위 조건들을 표현할 수 있는 다양한 성질(property)들을 정의
·   OWL 언어로 작성된 개념적 행위 모델을 에이전트 계획 언어인 JPL(JAM-agent Plan Language)의 계획 라이브러리(Plan Library)로 변형(Translation)하고 JPL 계획 생성기(JPL Planner)를 이용하여 Task Plan을 생성

Application


▶ Object Modeling for Robot Manipulation

Objective

·   지식 체계 기반의 로봇 물체 조작(robot manipulation)을 위해 물체 카테고리(category), 속성(attribute), 부품(part), 어포던스(affordance), 파지점(grasping point) 등을 표현하는 물체 지식 모델링에 관한 연구
·   물체 지식은 작업 계획 생성(task planning)뿐만 아니라 모션 계획 생성(motion planning)에서도 응용됨에 따라 매우 구체적인 수준으로 확장되어야 함
·   특히, 물체 조작의 정밀도(precision)를 높이기 위해서는 물체 어포던스, 파지점 등은 부품 단위로 모델링이 가능해야 함

Approach

·   온톨로지 기반(ontology-based)의 물체 모델을 구축하기 위해서 가장 먼저 물체들의 개념(concept)을 표현하기 위한 클래스(class)들과 이들 간의 계층(hierarchy)을 구축하고 물체 속성과 부품을 표현할 수 있는 기본적인 성질(property)들을 정의
·   물체에 대한 통상적인 어포던스 지식 뿐만 아니라 물체의 각 부품에 대한 구체적인 어포던스 지식을 표현할 수 있도록 다양한 성질들을 정의
·   다지(multiple fingers)를 가지는 로봇의 손을 대상으로 손의 유형(type), 자세(posture), 그리고 각 손가락 끝점(fingertip)이 물체의 각 부품에 맞닿는 파지점을 표현 가능하도록 다양한 성질들을 정의
·   또한, 동적으로 자세가 변하는 물체와 로봇 팔의 자유도 한계를 고려하여 다양한 자세의 여러 파지점 후보들을 만들 수 있도록 설계

Application


▶ Spatio-Temporal Context Query Processing


Objective

·   3차원 물체들의 개별 인식 정보로부터 현재의 시-공간 상황 지식(spatio-temporal context knowledge)뿐만 아니라 과거의 특정 시간 시점 또는 구간과 현재와 과거를 복합적으로 조회
·   실시간으로 스트림(stream) 형태로 빠른 속도로 입력되는 인식 정보로부터 효율적인 질의 처리 방식 요구
·   높은 시간 의존성을 가지는 서비스 로봇의 상황 정보를 조회할 수 있는 질의 처리기(query processor)

Approach

·   Allen 간격 대수 이론에 기초한 시간 연산자를 포함하고 있는 상황 질의 언어(context query language) 설계
·   시-공간 색인(spatio-temporal index)을 기반으로 메모리 접근 속도를 향상시켜 질의 처리 가속화

Application


▶ Dynamic Context Management


Objective

·   동적으로 변화하는 주변 환경에 대한 올바른 상황 인식(context awareness)과 상황 이해(context understanding) 능력
·   실시간으로 입력되는 다양한 센서 데이터로부터 신속히 의사 결정(decision making)에 필요한 고 수준의 상황 지식(high-level context knowledge)을 생성
·   실시간성을 만족할 수 있는 시-공간 추론(spatio-temporal reasoning)

Approach

·   다양한 종류의 센서와 인식 시스템들을 통합적으로 이용하기 위해, 이들과의 동기 인터페이스와 비-동기 인터페이스를 함께 제공
·   체계적인 상황 지식 생성을 위해 상황 지식 표현의 근간이 되는 개념 계층(concept hierarchy)과 관계 계층(property hierarchy)을 하나의 포괄적인 온톨로지(ontology)로 정의하고 이용
·   온톨로지 지식은 설명 논리(Description Logic, DL) 기반의 온톨로지 언어인 RDF와 OWL로 표현, 반면에 사물과 개념, 그리고 그들 간의 관계들이 만족해야 하는 다양한 공리(axiom)와 추론 규칙(reasoning rule)들은 표현력(expressive power)과 추론의 효율성(reasoning efficiency)을 고려하여 Horn 논리 기반의 Prolog 규칙들로 표현
·   상황 지식 관리와 추론의 효율성을 극대화하기 위해, 저 수준의 상황 지식은 센서 및 인식 데이터가 입력될 때마다 실시간적으로 생성, 반면에 고 수준의 상황 지식은 의사 결정 모듈에서 요구가 있을 때만 후향 시-공간 추론(on-demand, backward, spatio-temporal reasoning)을 통해 생성되도록 알고리즘을 설계


▶ Deep Reinforcement Learning for Manipulation Tasks


Objective

·   다 자유도 로봇 팔(multi-DOF robot arm) 기반의 조작 작업(manipulation task)을 위한 심층 강화 학습(deep reinforcement learning) 기술 연구
·   로봇(Kinova Jaco Arm 6-DOF & Hand 3-DOF), 조작 작업(Catch, Pick & Place), 조작 물체(cube, sphere)
·   연속 상태 공간(continuous state space)
·   연속 행동/제어 공간(continuous action/control space)
·   실시간 제약(real-time constraint)
·   높은 학습 데이터 효율성(data efficiency) 요구

Approach

·   Actor-Critic Policy Gradient 심층 강화 학습 적용
·   종래 Policy Gradient 알고리즘들의 낮은 데이터 효율성(low data efficiency)과 성능 불안정성(unreliable performance)을 극복
·   적응형 KL 기반 PPO(Proximal Policy Optimization) 알고리즘 적용
·   정책 성능의 하한선(low bound of performance)을 새로운 목적 함수로 채용
·   빠르고 안정적인 정책 학습 보장




Computer Vision


▶ Activity Detection from Video


Objective

·   비디오 내에서 사람의 행동이 존재하는 영역 탐색(region proposal)과 이 영역 내의 행동을 분류(activity classification)하는 행동 탐지(activity detection)에 관한 연구
·   비디오로부터 각 행동 별 시간적, 공간적 패턴(temporal and spatial pattern)을 잘 표현할 수 있는 멀티 모달 특징(multimodal feature)들을 추출해낼 뿐만 아니라 고수준의 의미적 특징(semantic feature)들을 추출하여 학습에 이용
·   대용량 공개 벤치마크 데이터 집합인 ActivityNet 비디오 데이터를 이용

Approach

·   16 프레임(frame)의 비디오로부터 C3D를 이용하여 시간 특징을 추출하고 ResNet을 이용하여 공간 특징을 추출하는 두 가지 심층 신경망 모델 학습
·   의미적 특징 학습을 위해 앞서 추출된 공간 특징으로부터 각각 동사(verb)와 명사(noun) 특징을 추출하는 두 가지 완전 연결 신경망 모델 학습
·   후보 영역(anchor box)을 이용한 행동 영역 탐지와 분류를 위해 양방향 BI-LSTM을 이용한 두 가지 심층 신경망 모델 학습

Application


▶ Video Captioning


Objective

·   비디오를 효과적으로 표현하는 자연어 캡션을 자동으로 생성하는 방법에 관한 연구
·   일반적으로 입력 비디오를 표현하는 특징을 추출하는 작업과 추출된 특징을 토대로 자연어 문장을 생성하는 작업으로 이루어짐
·   입력 비디오를 효과적으로 표현하기 위하여 CNN으로부터 추출한 시각 특징(visual feature)뿐만 아니라 고-수준 특징(high-level feature)인 정적/동적 의미 특징(static/dynamic semantic feature) 사용을 제안
·   학습한 특징을 효과적으로 캡션 생성에 사용하기 위한 선택적 주의집중(selective attention)캡션 생성을 제안
·   대용량 공개 벤치마크 데이터 집합인 MSVD(Microsoft Video Description) 비디오 캡션 데이터를 이용

Approach

·   의미 특징을 동영상 내의 정적인 속성(물체, 사람, 배경 등)에 해당하는 정적 의미 특징과 동영상 내의 동적인 속성(행위)에 해당하는 동적 의미 특징으로 나누어 학습
·   입력 비디오의 시각 특징을 추출하기 위해 ResNet, C3D CNN모델을 이용하고, 자연어 캡션 생성을 위해 LSTM모델을 이용
·   효과적인 비디오 캡션 생성을 위한 선택적 주의집중(attention) 네트워크 제시
·   매 시간단계(timestep)마다 현재 생성될 단어와 연관된 의미 특징에 주의집중 가중치(attention weight)를 부여하여 캡션 생성

Application


▶ Referring Expression Comprehension

Objective

·   참조 표현(referring expression)이란 주어진 영상에서 특정 물체 영역을 가리키는 문장을 의미
·   참조 표현(referring expression)이 가리키는 영상 내 영역을 찾아내는 방법에 관한 연구
·   영상 처리와 자연어 처리를 병행하는 멀티 모달 처리(multimodal processing)에 관한 연구

Approach

·   주어진 참조 표현을 대상 영역, 관계, 참조 영역으로 나누어 처리
·   각 부분 표현별로 영상 내 후보 영역들과 비교하여 적합도 판정
·   영상 및 자연어 처리를 위한 CNN, Bidirectional LSTM 사용
·   최적의 성능을 위한 모듈 구조 모델 제시

Application


▶ Image Captioning with Deep Neural Networks


Objective

·   효과적인 이미지 캡션 생성(image captioning)을 위해서는 언어 모델과 시각 모델 모두 필요
·   언어 모델(language model)과 시각 모델(visual model)의 효과적인 결합 방식에 관한 연구
·   이미지 캡션 생성에 유리한 순환 신경망 유닛(recurrent unit) 에 관한 연구

Approach

·   멀티 모달 순환 신경망(multimodal recurrent neural network) 모델 제시
·   시각 특징 추출을 위해 고성능의 Inception v3 convolutional neural network을 채택
·   시각 모델과 언어 모델을 결합하는 다양한 네트워크 구조(network structures) 비교와 최적 구조 제시
·   캡션 정확도(caption accuracy)와 모델 전이(model transfer) 면에서 LSTM와 GRU 유닛들의 성능 비교

Application


▶ 3D Scene Labeling


Objective

·   2차원 RGB-D 비디오 영상(video images)을 이용하여 포인트 클라우드(point cloud) 형태의 3차원 장면을 복원(3D scene reconstruction)하고, 해당 장면에 포함된 물체들을 탐지하여 레이블링(object labeling)
·   3차원 장면을 구성하는 모든 포인트의 레이블을 결정하기 위해서는 높은 계산 복잡도(high computational complexity) 요구
·   각 포인트의 지역적 특성들(local features)만으로는 정확한 레이블 추정이 어려움. 다양한 문맥적 특성들(contextual features)이 고려되어야 함.

Approach

·   복원된 3차원 포인트 클라우드를 복셀(voxel) 단위로 세그먼테이션(segmentation)
·   각 복셀이 속한 물체 유형(object category)을 추정하여 레이블을 결정
·   확률 그래프 모델(probabilistic graphical model)의 하나인 MRF(Markov Random Field) 을 이용하여 레이블 추정(label estimation)
·   노드 평가(node potential)를 위해 물체 탐지기(object detector)와 3차원 위치 사전 확률 지도(3D location prior map)을 활용
·   에지 평가(edge potential)를 위해 다양한 기하학적 제약들(geometric constraints)을 이용

Application


▶ Hierarchical Feature Learning for Object Recognition

Objective

·   컬러(RGB) 영상은 물체의 색상과 텍스처(Texture)정보가 풍부하지만, 기하학적 정보가 부족
·   깊이(Depth) 영상은 물체의 입체적 모양 정보를 직접 표현하지 못함
·   사람이 만든 특징(human-designed feature)들의 일반화 한계
·   범용적으로 이용 가능한 특징 학습 방법 제시

Approach

·   깊이 영상을 전처리(Pre-processing)하여, 모양(shape) 정보 추측에 유리한 법선 벡터(Normal Vectors)로 변환
·   법선 벡터와 컬러 영상을 함께 물체 인식 시스템의 입력으로 사용
·   낮은 레벨(low-level)과 높은 레벨(high-level)의 정보를 모두 활용 가능한 계층적 특징 학습(Hierarachical Feature Learning)을 통해, 물체 인식에 효과적인 특징 자동 추출

Application


▶ 3D Scene Reconstruction


Objective

·   카메라로부터 입력되는 RGB-D 영상(image)을 기반으로 주행 거리를 측정(odometry)
·   측정된 주행 거리를 최적화(optimization)하여 3D 장면 재구성(scene reconstruction)
·   주행거리의 오차(error)로 인한 드리프트(drift) 발생 문제점

Approach

·   주행 거리 오차를 줄이기 위해 특징을 추출(feature extraction)하고, 추출된 특징 중 정상집합 선별(inlier detection) 및 정제(refine)
·   정제된 정상집합의 재투영 에러 최소화(reprojection error minimization)를 통한 주행거리 측정
·   측정된 주행거리를 최적화하여 3D 장면 재구성

Application


▶ Visual Loop Closure Detection


Objective

·   카메라의 이동 경로 중 과거에 지나온 위치나 장소를 재방문(revisit) 한 지점을 자동으로 탐지
·   방문하는 장소가 증가할수록 루프 결합 탐지(loop closure detection)를 위해 저장되는 영상이 증가
·   저장되는 영상이 증가할수록 영상들 사이의 비교 연산이 증가

Approach

·   카메라의 주행거리(odometry)를 기반으로 키 프레임(key frame) 영상을 선택
·   선택된 키 프레임 영상을 DBoW 이미지 데이터베이스 시스템을 이용하여 저
·   현재 입력된 영상과 데이터베이스에 저장된 영상과의 비교를 통해 루프 결합을 탐지

Application


▶ Gesture Recognition with RGB-D Camera


Objective

·   카메라에서 입력된 영상으로부터 실험자의 제스처(gesture)를 판별
·   RGB-D 카메라로부터 실험자의 관절 좌표 (joint coordinate) 데이터를 획득
·   관절 좌표 데이터는 추정으로 인한 불확실성,(uncertainty), 시점 변화(view variant), 폐색(occlusion), 자기 폐색(self-occlusion), 조명 여건 등의 문제를 내포함

Approach

·   양 팔의 관절 위치 (joint position) 정보를 이용한 제스처를 인식
·   카메라의 시점 변화 문제를 고려하여 관절의 위치(position) 정보를 각도(angle) 정보로 특징 변환(feature transform)
·   제스처의 시간에 따른 순차성 및 관절 좌표 데이터의 불확실성을 고려하여 확률 그래프 모델(probabilistic graphical model)을 학습 모델로 사용

Application


▶ Activity Recognition with RGB-D Camera

Objective

·   관절 좌표(joint coordinate) 데이터로부터 실험자의 일상 행위를 인식하는 기술
·   RGB-D 카메라에서 추정된 관절 좌표 데이터는 추정의 불확실성(uncertainty), 시점 변화(view variant), 크기 변화(scale variant), 자기 폐색(self-occlusion)의 변화 등의 문제를 내포함
·   일상 생활에서 수행되는 행위들은 여러 개의 부속 행위(sub-activity)들의 반복으로 구성됨

Approach

·   관절 좌표 데이터가 가지는 시점 변화 문제를 해결하기 위해, 구면좌표계(spherical coordinate system)를 이용
·   관절 좌표 데이터가 가지는 크기 변화 문제를 해결하기 위해, 크기 정규화(scale normalization)을 적용
·   일상 행위들이 가지는 계층성(hierarchical)과 순차성(sequential)을 고려하여 모델 학습에 확률 그래프 모델(probabilistic graphical model) 사용

Application




Knowledge Reasoning


▶ Exobrain wins at Korean quiz show


▶ WiseKB Demo : Spatial Reasoning


▶ Qualitative Spatial Reasoning


Objective

·   컴퓨터가 인간처럼 상식 수준의 지식(common sense knowledge)을 기초로 자가학습하며, 질의응답(question answering)을 통해 전문가 수준의 지식(specialist knowledge)을 제공할 수 있는 SW에 대한 연구 필요
·   질문들에 효과적으로 답하기 위해서는 광범위한 지식 베이스(large-scale knowledge base)와 빠른 시공간 추론(fast temporal and spatial reasoning) 능력 필요
·   주요 장소들 사이의 방향(direction), 포함(containment), 그리고 경계(broad) 관계들에 대한 지식 표현(knowledge representation) 및 정성적 추론(qualitative reasoning)에 대한 연구 진행

Approach

·   다양한 사례의 공간 지식 베이스 분석을 통해 CSD(cone-shaped directional)-9과 RCC(region connection calculi)-8 관계들을 통합적으로 추론하는 변환 규칙(conversion rules) 발견
·   CSD-9 및 RCC-8 각각의 추론 규칙과 변환 규칙을 토대로 전향 공간 추론기(forward spatial reasoner) 및 후향 공간 추론기(backward spatial reasoner) 개발
·   맵리듀스(mapreduce) 기반의 대용량 공간 추론기(large-scale spatial reasoner) 개발

Application


▶ Knowledge Extraction from Open Data


Objective

·   공간 지식(spatial knowledge)의 결핍 문제를 해결하기 위한 정량적 접근 방법(quantitative approach)
·   공간 객체들(spatial objects)의 기하학적 데이터(geometric data)로부터 임의의 두 공간 객체들 간의 공간 지식을 자동으로 추출하는 공간 지식 추출기(Spatial Knowledge Extractor) 개발
·   공간 지식의 표준 모델(OGC standard) 및 두 공간 객체 사이의 위상 관계(topological relation)와 방향 관계(directional relation) 추출 방법에 대한 연구 진행

Approach

·   다양한 기하학적 데이터의 온톨로지(Ontology) 및 좌표 참조 시스템(CRS) 고려
·   위상 관계만 표현 가능한 OGC standard 확장
·   두 기하학적 데이터 간 위상 관계 계산을 위한 DE-9IM(Dimentionally Extended nine-Intersection Model)
·   두 기하학적 데이터 간 방향 관계 계산을 위한 MBR(Minimal Bounding Rectangle) Model

Application


▶ Spatial Query Processing

Objective

·   공간 객체들(spatial objects) 간의 다양한 정성적, 정량적 질의 처리가 가능한 공간 질의 처리 시스템(spatial query processing system) 개발
·   기존의 공간 질의 언어(GeoSPARQL)들은 방향 관계(directional relationships)에 대한 질의 기능이 존재하지 않음
·   기존의 공간 질의 처리 시스템은 추론(reasoning)을 통해 새로운 지식을 답으로 유도하는 기능이 존재하지 않음

Approach

·   기존의 GeoSPARQL 질의 언어에 방향 관계 질의가 가능한 새로운 질의 언어인 GeoSPARQL-D 제시
·   질의 처리 이전에 공간 추론기인 QUSAR를 이용해 전향 공간 추론(forward spatial reasoner)을 수행하여, 풍부한 질의 결과 도출

Application




Mobile Sensing


▶ WiFi Localization & Mapping


Objective

·   GPS 수신이 어려운 실내에서 WiFi 신호를 이용하여 신호지도(fingerprinting) 방식을 이용하여 스마트폰 사용자의 실시간 위치 추적(localization)과 신호지도 생성(mapping) 방법 개발
·   신호지도 방식은 위치 추적 정확성은 높지만, 신호지도 구축에 매우 많은 시간과 노력 필요
·   실내연속공간 (open space) 에서 효과적인 사용자 실시간 위치 추적 방법 필요

Approach

·   신호지도 구축의 어려움을 보완하는 방법으로 다수의 사용자가 신호지도를 생성하는 군중-제공 지도 작성 (crowd-sourced mapping) 방식 적용
·   WiFi SLAM(simultaneous localization and mapping) 알고리즘을 이용하여 위치 추적과 동시에 자동으로 신호지도를 생성
·   위치 신뢰도 (location confidence), 신호 일관성(consistency of the signal strength) 검사를 통해 다수의 사용자로부터 수집한 WiFi 신호지도의 효과적인 공유 및 지속적인 갱신
·   파티클 필터(particle filter) 기반의 실시간 전역 위치 추적(global localization)

Application


▶ Gesture Recognition using Accelerometer


Objective

·   제스처(gesture)를 이용한 사람과 컴퓨터 간의(human-computer interaction) 비언어적 의사소통(nonverbal communication)에 관한 연구 필요
·   3차원 공간(3-dimensional space) 상에서 스마트폰(smartphone)의 역동적인 행동 패턴(dynamic behavior pattern)을 분석할 필요
·   모바일 환경(mobile environment)의 한정된 계산 자원(limited computational resources) 문제
·   가속도 센서 측정값(accelerometer data)의 오차(noise) 및 사용자 간의 편차(user deviation) 문제

Approach

·   Dynamic time warping(DTW) 알고리즘을 기반으로 시간(time)이나 속도(speed)가 다른 두 시퀀스 데이터(two sequence data) 간의 유사도(similarity) 측정
·   DTW는 적은 학습 데이터(less training data)를 요구하며, 빠른 인식 속도(faster recognition speed)가 장점
·   유사도 행렬(similarity matrix) 기반의 대표 집단 추출(exemplar group extraction)을 통한 제스처(gesture)의 개인화(personalization)와 다양성(diversity)을 고려

Application


▶ Scene Recognition with Sound Sensor


Objective

·   마이크로폰을 통해 입력되는 사운드 데이터로부터 데이터의 발원이 되는 장면을 인식(scene recognition)
·   사운드 데이터에 많은 소음(noise)이 혼재되어 있거나 의미 있는 사운드 데이터의 볼륨이 낮은(low volume) 문제점
·   사운드 데이터 처리를 위해 소모되는 모바일의 제한된 계산 자원(limited computational resources) 문제점

Approach

·   전처리 단계의 필터링(filtering) 을 통해 화이트 노이즈(white noise)와 고요한 사운드(silence) 여과
·   볼륨이 낮은 의미 있는 사운드 데이터 증폭(amplification)
·   사운드 신호 처리에 뛰어난 특징을 추출(feature extraction)하고, 순차 데이터 학습에 우수한 HMM 학습 알고리즘(learning algorithm) 사용

Application

·   자동 감시 시스템(automatic surveillance system), 홈 케어 시스템(in-home care system), 원격 제조 및 재배(remote manufacturing and agriculture) 등 다양한 분야에 유용하게 활용 가능


▶ Mobility Pattern Mining

Objective

·   사용자들의 대용량의 GPS 위치 데이터로 부터 다음 방문 장소 예측(Next Place Prediction)을 위한 맵리듀스(MapReduce) 기반의 이동 패턴 마이닝 시스템 개발
·   사용자들의 대용량의 GPS 위치 데이터로 부터 주요 장소 추출(POI extraction)
·   각 사용자의 이동 궤적 데이터들을 이용하여 사용자들의 이동 패턴 모델(mobility pattern model) 표현

Approach

·   대용량의 GPS 위치 데이터로 부터 K 평균 군집화(K-means clustering)을 적용하여, 주요 장소 추출
·   사용자들의 이동 궤적 데이터로 부터 HMM 모델(hidden markov model)을 학습하여, 이동 패턴 모델 표현

Application