9일(현지시간) 기가옴 등에 따르면, 넷플릭스는 데이터를 소스에서 수집해 목적지로 실시간으로 보내주는 기술 '수로(Suro)'를 오픈소스로 공개했다. 아파치 플럼(Flume)과 유사한 아피치 척와(Chukwa)에서 파생된 기술이다.
수로는 각지에 퍼진 애플리케이션 서버에서 생성되는 데이터를 수집해 하둡, 엘라스틱서치 등의 목적에 맞는 저장소로 보내준다. 하루당 수십, 수백억건씩 생성되는 애플리케이션의 이벤트 데이터를 배치분석용, 실시간 분석용으로 구분해 전송한다.
|
동시에 동적라우팅룰에 기반해 아파치 카프카로 보내져 스톰, 엘라스틱서치 등 실시간 스트리밍 분석용 인프라로 이용자 반응에 대한 실시간 대응을 가능하게 한다.
넷플릭스는 블로그를 통해 "우리 서비스는 각 애플리케이션에 발생한 에러를 자동으로 검출해 10분 안에 창에 띄우고, 애플리케이션 소유자에게 알림을 보낸다"라고 설명했다.
| |
▲ 수로 아키텍처 |
현재 수로 클라이언트, 수로 서버, 카프카 싱크 및 S3 싱크, 메시지 필터 3종 등이 나와있다.
수로는 지난 10월 네이버 개최 데뷰2013 컨퍼런스에 강연자로 나섰던 배재현 씨도 개발에 참여한 기술이다.