dms3 AWS Data Analytics 아는 척하기 아는 척하기 시리즈 2탄 3줄 요약: 1. 일단 S3에 넣기 2. DMS는 쉽고 좋은 느낌 3. Kafka로 유연성과 확장성 확보하기 2배속 추천... 역대급으로 긴장하면서 발표했다. 중간에 슬라이드 넘기느라 엔터치는데 손이 달달달 떨렸었다... 2022. 4. 18. AWS Data Analytics Webinar 후기 3월 31일 오후 1시 20분부터 3시 50분까지 진행되는 AWS Data Analytics Webinar에 참석했다. 예전부터 AWS 웨비나에 계속 참석하고 싶었는데 모두 회사 근무 시간에 진행되서 참석하지 못했는데 이번에는 CTO님이 먼저 참석하라고 권유해주셔서 바로 신청해 참석하게 되었다. 1. 분석을 위한 데이터들은 무조건 S3에 넣는다. 2. 분류를 위한 도구는 AWS glue data catalog를 쓴다. 결과적으로 이렇게 정리할 수 있을 것 같다. 1. DMS로 데이터를 받는다. (다른 여러 방법들이 있지만 가장 간단하고 효율이 좋음) 2. 키네시스나 카프카를 이용한다. (여러 곳에서 컨슘을 하기 위해서) 3. 무조건 S3에 넣으면 중간은 간다. 요구사항이 어떻게 바뀔지 모르기 때문에 유연.. 2022. 3. 31. 레거시 코드를 대하는 자세 원래 서비스와 완전히 분리가 일단 불가능한 상태에서 한 feature가 MSA로 나가는 상황. feature에서 데이터가 create되면 그 함수에서 event를 만들어 카프카로 보내게 만들었다. 그리고 그 카프카 이벤트를 MSA의 feature가 컨슘하게 되고 데이터는 MSA의 DB로 저장되게 된다. create 발생, event 생성 -> Kafka -> MSA -> DB 일단 이 방식으로 잘 동작하는 건 확인했고, 이제 모든 CRUD 에서 이 로직이 동작하게끔 해야하는데 여기서 문제가 생겼다. 레거시 코드가 너무 거대했다. update 함수가 수십개에 달하고 그 update 로직들이들이 어디있는지 모두 찾기가 어려웠다. 업데이트 로직이 컨트롤러에도 있고, 뭔가 알 수 없는 서비스에서도 업데이트가 일.. 2022. 1. 27. 이전 1 다음 728x90
