AWS4 OpenSearch 최적화: 샤드 구성 및 JVM 힙 메모리 관리 가이드 📌 개요OpenSearch(Elasticsearch 포함)는 대규모 데이터를 효율적으로 처리하기 위해 다양한 최적화 전략이 필요합니다. 특히 샤드(shard) 구성과 JVM 힙 메모리 관리는 성능에 직접적으로 영향을 미치는 중요한 요소입니다.본 글에서는 OpenSearch의 샤드 설정과 JVM 힙 메모리 구성 방법에 대한 실질적인 가이드를 제시합니다.📌 용어 정리먼저 기본적인 용어부터 정리하겠습니다.Index (인덱스): 데이터를 저장하고 관리하는 논리적 공간입니다.Shard (샤드): 인덱스를 물리적으로 나눈 데이터 단위로, 복제본(replica)이 아닌 실제 데이터입니다.Primary Shard (프라이머리 샤드): CRUD(Create, Read, Update, Delete)를 처리하는 실제 샤.. 2025. 5. 31. AWS 계정 간 S3 데이터 동기화 (Cross-Account S3 Sync) AWS 계정 간 S3 데이터 동기화 (Cross-Account S3 Sync)AWS에서는 서로 다른 계정(A → B) 간에 S3 데이터를 복사(Sync)하려면 몇 가지 IAM 및 S3 정책 구성이 필요합니다.이 포스트에서는 A 계정의 S3 버킷에서 B 계정의 S3 버킷으로 데이터를 동기화(sync) 하는 방법을 정리합니다.DataSync 서비스를 사용하는 방법도 있으나, 아래의 방법이 가장 간단하고 효율적입니다.✅ 전제 조건A 계정: 소스 S3 버킷 보유 (dev-source-bucket)B 계정: 대상 S3 버킷 보유 (prod-target-bucket)동기화는 B 계정의 EC2 인스턴스에서 AWS CLI로 실행EC2 인스턴스는 IAM Role(crossaccount-sync-role)을 사용✅ 1. .. 2025. 5. 1. AWS MSK 고가용성 설정 AWS MSK Kafka 클러스터 설정 및 업그레이드 가이드AWS MSK 클러스터의 설정 변경과 업그레이드 과정에서 고려해야 할 중요한 사항들을 다루고자 한다. 이 가이드는 Kafka 클러스터의 고가용성 설정, 권장 파티션 수, 그리고 설정 변경 시 주의할 사항들을 설명하는 데 중점을 두고 있다. 1. Kafka 클러스터 고가용성 설정Kafka 클러스터의 가용성을 높이기 위해 다양한 설정을 고려할 수 있다. 아래는 AWS Support에서 권장하는 설정 값들이다.default.replication.factor=3min.insync.replicas=2 unclean.leader.election.enable=false주요 설정 항목 설명- **min.insync.replicas**: `replication.. 2024. 8. 16. AWS Instance 사용자 이미지 생성 및 ENA 문제 사용자 이미지 생성하기 기존에 생성해놓은 Instance를 선택후 오른쪽 버튼을 클릭후 Image > Create Image를 선택 하면 선택한 Instance의 이미지를 생성해 준한다. 이때 생성된 이미지는 사용자 계정 및 관련 내용이 그대로 이미지화 되어서 추후 동일한 형태의 이미지로 생성이 가능하다. 이미지 생성 버튼을 클릭하면 Create Image 확인창이 나오고 Image name / Image description 입력 후 "Create Image" 버튼을 눌러 주면 된다. 이미지 생성시 No reboot 옵션 이때 "No reboot" 체크 박스에 체크를 해주지 않으면 실행중인 Instance가 재부팅 된다. 실제 운영중인 서비스라면 주의 해야 한다. 재부팅을 하는 이유는 AWS 공식 문서.. 2020. 4. 14. 이전 1 다음
