Kinesis3 [AWS] Kinesis Data Firehose Amazon Kinesis Data FirehoseAmazon Kinesis Data Firehose는 실시간으로 데이터를 수집하고 분석하기 위한 완전관리형 데이터 스트리밍 서비스로, 데이터를 손쉽게 로드하고 변환하여 다양한 AWS 및 서드파티 서비스로 전달할 수 있다.Batch Writes배치 쓰기: 다양한 목적지 지원Kinesis Data Firehose는 데이터를 배치 단위로 작성하여 효율성을 극대화한다. 배치 쓰기는 데이터 전송 비용을 절감하고, 네트워크 부하를 줄이며, 목적지 시스템의 성능을 최적화하는 데 기여한다. Firehose는 AWS의 여러 서비스는 물론 서드파티 및 커스텀 목적지로의 배치 쓰기를 지원한다. Data Destinations(Amazon Data Firehose -> Des.. 2024. 12. 12. [AWS] Kinesis Data Streams Amazon Kinesis Data StreamsAmazon Kinesis Data Streams는 대용량의 실시간 데이터를 수집하고 처리할 수 있는 완전관리형 서비스이다. 샤드샤드는 Kinesis Data Streams에서 데이터의 처리와 저장을 담당하는 기본 단위이다.처리량: (1mb || 1000msg)/sec per shard 필요에 따라 샤드의 수를 조절하여 처리 용량을 확장하거나 축소할 수 있다. 레코드와 블롭 데이터레코드는 Kinesis Data Streams에서 전송되는 데이터의 기본 단위이다. 각 레코드는 실제 데이터인 데이터 블롭과 메타데이터로 구성된다. 데이터 블롭은 텍스트, JSON, 바이너리 등 다양한 형식의 데이터를 포함할 수 있다. 파티션 키와 데이터 순서 보장파티션 키는 .. 2024. 12. 12. DB에 쿼리 날리지 마라 입사한지 이제 정확히 50일 되었다. 처음으로 새로운 feature를 담당하여 맡게 되었고, 컨플루언스에 로드맵을 정리하여 올렸다. 아침 스크럼 이후, 슬랙에 피드백을 위해 로드맵을 올렸는데 CTO님이 내 글을 보시고 바로 댓글을 다셨다. "이거 일을 좀 더 크게 벌리는게 좋을거 같네요" 이유는 group by와 order by 쿼리를 DB로 바로 날리는 식으로 짰는데, 이렇게 하면 DB 서버의 부담이 크기 때문이었다. 물론 데이터가 작다면 상관없겠지만... 그럼 도대체 어떻게 해결해야하는가? 그래서 내가 'Redis에 일별로 데이터를 저장하고 데이터 정리는 백엔드에서 하는게 어떨까요?'라고 제안했다. 그랬더니 그게 엘라스틱 서치에서의 aggeregation 방식이라고 하셨다(뭔지 몰랐다). 그것도 좋긴.. 2021. 12. 20. 이전 1 다음
