3월 31일 오후 1시 20분부터 3시 50분까지 진행되는 AWS Data Analytics Webinar에 참석했다.
예전부터 AWS 웨비나에 계속 참석하고 싶었는데 모두 회사 근무 시간에 진행되서 참석하지 못했는데 이번에는 CTO님이 먼저 참석하라고 권유해주셔서 바로 신청해 참석하게 되었다.
1. 분석을 위한 데이터들은 무조건 S3에 넣는다.
2. 분류를 위한 도구는 AWS glue data catalog를 쓴다.
결과적으로 이렇게 정리할 수 있을 것 같다.
1. DMS로 데이터를 받는다. (다른 여러 방법들이 있지만 가장 간단하고 효율이 좋음)
2. 키네시스나 카프카를 이용한다. (여러 곳에서 컨슘을 하기 위해서)
3. 무조건 S3에 넣으면 중간은 간다. 요구사항이 어떻게 바뀔지 모르기 때문에 유연하게 대처하기 위해서 S3에 넣을 때 데이터는 정제된 데이터가 아니라 rawData를 넣는게 좋다. (바로 OpenSearch나 다른 DB에 넣어도 되지만)
예시)
댓글