초거대 그래프의 지능적 고속 처리를 위한 그래프 DBMS 기술 개발 

 

 

[과제 소개] 

 

 사회 관계망, 인터넷 웹, 지식 그래프, 금융 거래 그래프, 비즈니스 플로우, 프로그램 소스코드 구조 등 다양한 그래프 형상의 데이터들이 나타나고 거대화 됨에 따라 신속한 저장 및 처리 기술이 필요해졌다. 

 

 포스텍에서는 위와 같은 필요에 따라 지능형 그래프 통합 DBMS(GDBMS) 기술을 큐브리드, 경희대학교, 강원대학교, 한국공개SW협회와 개발한다.

 

 지능형 그래프 통합 DBMS(GDBMS)는 클라우드 기반의 분산 머신들을 활용하여 거대 그래프의 효율적인 저장, 분석 및 기계학습을 통합 지원함으로써 빅데이터 및 인공지능 기반 비즈니스 경쟁력을 향상시킬 수 있는 시스템이다. 향후, 신약 개발, 뇌질환 감지 등 의료, 금융, 통신, 물류 등 다양한 분야에서 활용될 것으로 기대된다. 

 

 

[개발 목표] 

  • 최신 상용 GBMS 대비 100배 이상 빠른 성능 개선 
  • 스키마 없는 데이터에 대해 유연하고 빠른 연산 지원 
  • TPC-H, TPC-DS와 같은 관계형 질의에 대해서도 최신 RDBMS와 비견되거나 능가하는 다양한 분석 워크로드를 처리 가능한 다재다능한 DBMS 개발 

 

[핵심기술] 

1. 거대 그래프 질의 컴파일러 및 질의처리 기술

  • 스키마 없는 프로퍼티 그래프 모델 및 openCypher 질의 언어 지원
  • 그래프-네이티브, 구조 인식 열 기반 그래프 저장 기술 개발
  • SIMD 등 최신 하드웨어 기능을 이용한 빠른 벌크로딩 기술 개발
  • 벡터화된 스키마 유연한 질의 처리 엔진 기술 개발
  • 계단식 최적화 프레임워크(cascades optimization framework) 기반의 하향식(top-down) openCypher 질의 최적화기 기술 개발
  • 그래프 및 관계형 워크로드를 모두 효율적으로 지원하는 GDBMS 기술

2. 거대 프로퍼티 그래프 저장 / 분할 기술 :

  • 학습 및 추론을 위한 그래프 분할, 추출, 샘플링 등을 포함한 그래프 처리 모듈 및 분산 그래프 임베딩 기술 개발
  • 중간/임시 결과 재사용을 통한 효율적인 그래프 학습 기술 개발
  • 작업 분리형 다중 프로세스 스케줄링 기술을 통한 거대 그래프 학습 고속화
  • 분산 환경을 위한 효율적인 피쳐 캐싱 기능 개발
  • GDBMS 와 긴밀하게 연결된 학습 엔진

3. 거대 그래프 학습 및 추론 기술

  • GDBMS 의 다양한 시각화 분석 기능을 제공하는 시각화 도구 개발
  • 온/오프라인 상에서의 RDBMS와 GDBMS 간 다양한 이관 방법을 제공하는 이관 도구 개발
  • 멀티스레딩 기반의 데이터 이관 가속화 기술 개발
  • 관계형 데이터 모델에서 그래프 데이터 모델로의 자동 변환 기능 지원

4. 하드웨어 가속 기술

  • GPU를 활용한 그래프 신경망 학습/ 추론 고속 병렬 처리 기술 개발
  • 인피니밴드 |Po|B/RDMA 기술을 접목한 고속 네트워크 매니저 설계 및 개발
  • 다양한 환경 지원 가능한 RoCE(RDMA over Converged Ethernet) 등 특수 프로토콜 지원 기능 개발

 

[주요성과]

1. Regular Path Query Evaluation Sharing a Reduced Transitive Closure Based on Graph Reduction (ICDE2022),

   Guaranteeing the O(AGM/OUT) Runtime for Uniform Sampling and Size Estimation over Joins (PODS 2023)

2. 인피니밴드 네트워크에서 분산 병렬 그래프 데이터 처리의 성능 개선 우수논문

3. 효율적인 빅데이터 처리를 위한 고속 분산 클러스터 기반라이브러리 데이타베이스연구

4. iRun: Horizontal and Vertical Shape of a Region Based Graph Compression (Sensors, 2022)

5. Human Action Recognition: A Taxonomy based Survey, Updates, and Opportunities (Sensors, 2023)

6. Subgraph Matching on Multiple Graph Streams (IEEE BigComp 2022)

7. LFP: Layer Wise Feature Perturbation based Graph Neural Network for Link Prediction (IEEE BigComp 2023)

8. 시각화 도구 개발 연구 (ViT : Visualization Tool)

9. 데이터 이관 도구 개발 연구 (MiT : Migration Tool)

 

 

※ 본 기술 및 과제에 참여 및 협력 등 많은 관심 부탁드립니다.

 

 

[초거대 그래프의 지능적 고속 처리를 위한 그래프 DBMS 기술 개발 자세히 보기]

GDBMS_3.png GDBMS_4.png