[AWS] Kinesis Data Streams

Amazon Kinesis Data Streams

Amazon Kinesis Data Streams는 대용량의 실시간 데이터를 수집하고 처리할 수 있는 완전관리형 서비스이다.

 

샤드

샤드는 Kinesis Data Streams에서 데이터의 처리와 저장을 담당하는 기본 단위이다.

• 처리량: (1mb || 1000msg)/sec per shard

 

필요에 따라 샤드의 수를 조절하여 처리 용량을 확장하거나 축소할 수 있다.

 

 

레코드와 블롭 데이터

레코드는 Kinesis Data Streams에서 전송되는 데이터의 기본 단위이다. 각 레코드는 실제 데이터인 데이터 블롭과 메타데이터로 구성된다. 데이터 블롭은 텍스트, JSON, 바이너리 등 다양한 형식의 데이터를 포함할 수 있다.

 

 

파티션 키와 데이터 순서 보장

파티션 키는 레코드를 특정 샤드로 할당하기 위한 식별자이다. 동일한 파티션 키를 가진 레코드는 항상 동일한 샤드로 전송되며, 이를 통해 데이터의 순서가 보장된다. 순서가 중요한 애플리케이션에서는 파티션 키를 적절히 설정하는 것이 중요하다.

 

 

용량 모드: 프로비저닝 모드와 온디맨드 모드

Kinesis Data Streams는 두 가지 용량 모드를 제공한다.

• 프로비저닝 모드(Provisioned Mode): 예상되는 트래픽에 맞춰 샤드의 수를 직접 설정하여 용량을 관리
• 온디맨드 모드(On-Demand Mode): 트래픽 변화에 따라 자동으로 용량을 조절하여 관리의 복잡성을 줄임