분류 전체보기160 [AWS] IAM 요약 Users: AWS Console에 로그인할 수 있는 실제 사용자.Groups: 사용자 그룹.Policies: 사용자 및 그룹에 대한 권한 정책(JSON 형식).Roles: AWS 서비스에 대한 역할.Security: 비밀번호 정책과 MFA.Access Keys: AWS CLI나 SDK 접근을 위한 키.Audit: IAM 사용 감사 및 자격 증명 리포트 생성. IAM Security Tool: AWS IAM의 접근 권한을 안전하게 관리하고 모니터링하는 도구정책 분석: 사용자와 그룹의 정책을 검토하여 과도한 권한을 식별.자격 증명 모니터링: 자격 증명 상태와 MFA 설정을 점검.액세스 감사: 사용자 활동 로그를 기록하고 비정상적인 행동 탐지.보고서 생성: 권한 및 활동에 대한 보고서를 작성하여 보안 상태.. 2024. 10. 9. 모 기업의 서술형 코딩 테스트 키워드를 기반으로 생성한 문제 (코테를 직접 본 것이 아니라 주워들은 내용을 기반으로 생성한 문제들이기에 기출과는 다름) 1. 실시간 맵리듀서 (Real-Time MapReduce)문제: 당신은 대규모 데이터 스트림을 실시간으로 처리해야 하는 시스템을 설계하고 있습니다. 이 데이터를 분석하고 결과를 빠르게 제공하기 위해 맵리듀스를 사용할 계획입니다. 실시간 처리와 기존 맵리듀스 모델의 차이를 고려할 때, 시스템을 어떻게 설계해야 하며, 다음과 같은 조건들을 만족시킬 수 있습니까?- 실시간 데이터 흐름을 처리하는 방법- 높은 처리량(Throughput)을 유지하면서 낮은 지연(Latency)을 유지할 수 있는 방법- 노드 장애 시에도 안정적으로 처리 작업을 이어갈 수 있는 방법추가 질문트러블 슈팅 문제로, 데이터 처리 도중 일부 노드가.. 2024. 10. 5. [Spring] Stateless Spring Security - 1 흔히 찾아볼 수 있는 대부분의 스프링 시큐리티 코드 국내외 가릴 것 없이 수많은 Spring Security(이하 시큐리티) 관련 글을 찾아보았지만, 그 어떤 곳에서도 JWT에 특성을 제대로 살린 시큐리티 코드를 보지 못했다.블로그든, 유튜브든 어디서 시작되었는지 모를 코드를 똑같이 복사 붙여넣기 하고 있는 듯 하다. 이상하다고 생각하는 코드는 아래와 같다.@Servicepublic class UserDetailsServiceImpl implements UserDetailsService { private final UserRepository userRepository; public UserDetailsServiceImpl(UserRepository userRepository) { .. 2024. 10. 5. [AI] 데이터셋 검증을 잘 하자 + 전처리 저장/로드 영-한 번역 모델을 만들어보고 있는데, 데이터셋 검증을 제대로 하지 않아 시간을 많이 날렸다.대충 봐선 몰랐는데, 데이터셋을 하나하나 보니까 번역이 이상한 데이터셋... https://huggingface.co/datasets/msarmi9/korean-english-multitarget-ted-talks-task 아니면 이런건 아예 컬럼이 없고 데이터만 딸랑 존재했다. (전처리의 귀찮음)https://huggingface.co/datasets/bongsoo/news_talk_ko_en 데이터셋이 GB 단위로 넘어가면 로드에 매우 오랜 시간이 걸린다. # 데이터셋 저장 경로 설정processed_train_dataset_path = os.path.join(log_dir, "tokenized_train.. 2024. 9. 29. [AI] 간단한 선형 모델로 이해하는 가중치 감쇠(Weight Decay) 가중치 감쇠가중치 감소: 매번 업데이트할 때마다 가중치가 조금씩 줄어듦.복잡도 제어: 가중치가 작아지면 모델의 복잡도가 낮아져, 과도한 학습을 방지.일반화 성능 향상: 모델이 훈련 데이터에 과적합되지 않고, 새로운 데이터에도 잘 동작하게 됨.가중치 감쇠(Weight Decay)는 정규화(Regularization) 기법 중 하나이다. 정규화는 머신러닝 모델이 과적합(Overfitting) 되는 것을 방지한다. 간단한 선형 모델이 있다. 이 때 손실 함수를라고 한다. 가중치(Weight Decay)를 적용한 전체 손실 함수는이다. 🤔🤔근데 왜 𝜆/2에 w^2를 하는가?w^2를 미분하면 2w가 되는데, 이 때 1/2가 있으면 미분 값이 λw로 간단해지기 때문이다. 왜 굳이 가중치에 제곱을 하.. 2024. 9. 19. 이전 1 2 3 4 5 ··· 32 다음
