최근에 Jenkins 서버의 용량이 가득 차면서 함께 올라가있던 다른 서비스들도 멈춰버리는 문제점이 발견되었습니다. 그래서 그 중 하나인 Nexus를 분리하고 Blob Store를 Local Storage가 아닌 S3로 설정하여 비용 절감을 꾀하기로 합니다. 기왕 이렇게 하기로 결정하였으니, ECS에 서비스 형태로 올려보고자 합니다. EFS 설정하기 ECS의 Fargate는 EBS를… 더 보기 »ECS로 Nexus 구축하기
AWS에서 데이터 레이크를 구축하기 위해서는 3가지 서비스가 필요합니다. 데이터를 저장하는 S3 테이블에 대한 메타 데이터를 저장하는 Glue Data Catalog 데이터를 쿼리할 수 있는 Athena 이렇게 3가지 서비스를 이용하여 데이터 레이크를 구축하고 나면, 그 다음에 고민해야 하는 문제는 바로 사용자별 권한 관리입니다. 사용자에 따라서 접근… 더 보기 »데이터의 권한 관리를 단순화하는 AWS Lake Formation 사용하기
AWS에서는 특이하게도 매일 수집되는 빌링 데이터가 과거 데이터의 정합성을 보장하지 않습니다. 그래서 항상 한 달치 빌링 데이터 전체를 제공합니다. 매일 수집되는 데이터가 다르다는 가정 하에, OpsNow에서도 데이터를 누적하여 업데이트 하는 것이 아니라, 매번 수집된 데이터를 별도로 저장하고 있습니다. 수집된 OpsNow의 빌링 데이터는 EMR을… 더 보기 »AWS Athena의 권한 관리와 클라이언트 접속