목차

개요

1. 전체 스트림 데이터 파이프라인 구성. 이를 통해 모든 단계에서 고려해야 하는 트레이드오프를 이해할 수 있게 된다.
2. 비즈니스 요구사항 또는 관심 분야에 따라 각 단계에서 어떤 소프트웨어를 골라야 하는지가 대한 가이드

핵심 개념 ( 핵심만, 설명 용)

실시간 시스템과 스트리밍 시스템의 차이점

스트리밍 데이터란?

아키텍쳐

1장 스트리밍 데이터 소개

• 실시간 데이터 시스템과 스트리밍 데이터 시스템의 차이점

  • 실시간 시스템은 Hard, Soft, Near로 분류

  분류	예시	지연 정도	허용 가능 지연
  하드
  리얼타임	심박 조율기, ABS 브레이크	스 마이크로초~수 밀리초	없음
  소프트
  리얼타임	항공사 예약 시스템, 온라인 주식 시세	수 밀리초~수 초	낮음
  니어
  리얼타임	스카이프 화상통화, 스마트 홈	수 초~수 분	높음
  스트리밍	?	?	?

  • 스트리밍 시스템
    • 스트리밍 데이터 서버와 스트리밍 클라이언트로 나뉜다.
    • 클라이언트가 네트워크 상태의 이슈 애플리케이션 설게의 영향으로 데이터를 소비하지 못할 수 있고 또는 클라이언트 애플리케이션이 종료된 상태일 수도 있음
    • 서버의 실시간 데이터를 클라이언트가 원활할 때 사용하는 시스템
    • 데이터가 필요할 시점에 전달이 가능한 시스템을 In-the-moment system이라고 부름

  | 스트리밍 | 트위터 - 트위터에 작성된 글을 처리. 잠시 후 또는 몇 초 또는 몇 시간 뒤 클라이언트에서 글을 조회할 때 데이터를 가져간다. 대한항공 - 최의 항공기 상태 데이터 처리. 이후에 클라이언트에서 특정 공항 또는 특정 항공기에 대해 조회할 때 데이터를 가져간다. 주식 - 주식들의 실시간 시세를 처리. 특정 주식을 조회할 때 데이터를 가져간다. | | --- | --- |

• 스트리밍 데이터 아키텍처

  • 수집 단계
  • 메세지 큐 단계
  • 분석 단계
  • 장기 스토리지 단계
  • 인메모리 저장소 단계
  • 데이터 접근

• 스트리밍 데이터 시스템을 위한 보안

  • 수집 단계 전 인증, 인가
  • 메시지 큐 단계 전 인증, 인가

2장 데이터 수집

• 수집 단계 학습
• 데이터 수집 패던들에 대한 이해
  • 요청/응답 패턴
    • 하나의 네트워크 연결
    • 클라이언트가 비동기로 서버에 요청
      • ex: 현대의 브라우저
    • 클라이언트, 서버 모두 비동기로 처리
  • 요청/확인응답 패턴
    • 확인응답 데이터로 고유 식별자를 넘겨준다.
      • ex: 온라인에서 특정 제품을 구매하고 주문 번호 부여
      • ex: 고객이 방문하는 페이지들 추적
  • 발행/구독 패턴
    • 메시지 기반 데이터 시스템
      • ex: 교통데이터
  • 단방향 패턴
    • 일부 데이터가 유실되는 것을 허용하고 통신의 단순화, 리소스 감소, 전송 속도 보장
      • ex: IoE
  • 스트림 패턴
    • 서버가 클라리언트에 요청 ( 위와 정반대 개념 )
• 통신 패턴 확장
  • 요청/응답 패턴 확장
    • Stateless
      • 임의의 서버에 요청
      • 실행 서버에 작업 없이 신규 서버를 쉽게 추가
  • 스트림 패턴 확장
    • 수집 서버 확장
    • 수집 단계에 버퍼링 계층 도입