분산 시스템이란? 분산 시스템은 여러 컴퓨터 또는 장치들이 네트워크로 연결되어 작업을 분산하고 협력하여 동작하는 컴퓨팅 환경을 말한다. 이러한 시스템은 컴퓨터 자원과 작업 부하를 여러 노드에 분산시켜 성능을 향상 시킬 수 있으며, 높은 가용성, 확장성, 신뢰성을 제공할 수 있다. 분산 시스템은 중앙 집중식 시스템과 달리 분산된 자원을 활용하여 작업을 처리하므로, 여러 개의 컴퓨터나 서버에 응용 프로그램, 데이터 또는 서비스를 분산시킬 수 있다. 이러한 분산 시스템은 대규모 데이터 처리, 병렬 컴퓨팅, 실시간 시스템, 클라우드 컴퓨팅 등 다양한 분야에서 사용된다. 분산시스템의 구성요소는 여러 개의 노드로 구성되며, 이 노드들은 네트워크를 통해 통신하고 작업을 협력하여 수행한다. 이러한 노드들은 동일한 작업..
사용자별 테이블 권한 설정 일반적으로 사용자별 테이블별 권한 설정은 하지 않음 너무 복잡하고 실수의 가능성이 높음 역할(Role) 혹은 그룹(Group) 별로 스키마별 접근 권한을 주는 것이 일반적 사용자 집합: 그룹, 테이블 집합: 스키마 그룹의 수나 스키마의 수는 사용자나 테이블의 수보다 훨씬 적음 요즘은 RBAC(Role Based Access Control)가 새로운 트렌드: 그룹 보다 더 편리 계승 구조를 만들 수 있음 여러 역할에 속한 사용자의 경우는 각 역할의 권한을 모두 갖게 됨(Inclusive) 개인정보와 관련한 테이블들이라면 별도 스키마 설정 극히 일부 사람만 속한 역할에 접근 권한을 줌 컬럼 레벨 보안 (Column Level Security) 테이블 내 특정 컬럼(들)을 특정 사용..
Redshift 특징 AWS에서 지원하는 데이터 웨어하우스 서비스 SQL 기반 관계형 데이터베이스 2PB의 데이터까지 처리 가능 최소 160GB로 시작해서 점진적으로 용량 증감 가능 단, 이 때는 SSD를 사용하기 때문에 속도가 빠름 Still OLAP 응답속도가 빠르지 않기 때문에 프로덕션 데이터베이스로 사용불가 컬럼 기반 스토리지 레코드 별로 저장하는 것이 아니라 컬럼별로 저장함 컬럼별 압축이 가능하며 컬럼을 추가하거나 삭제하는 것이 아주 빠름 벌크 업데이트 지원 (모든 데이터 웨어하우스의 특징) 레코드가 들어있는 파일을 S3로 복사 후 COPY 커맨드로 Redshift로 일괄 복사 고정 용량/비용 SQL 엔진 최근 가변 용량 옵션도 제공 데이터 공유 가능 (Datashare) 다른 AWS 계정과 특..
데이터 조직의 비전은? 신뢰할 수 있는 데이터를 바탕으로 부가 가치 생성 데이터를 바탕으로 개인화를 통해 추천을 잘 해주면서 본업을 더 잘 할 수 있도록 부가 가치를 생성 데이터의 중요성을 강조하니 데이터 팀도 회사에서 인정을 받는다? (x) 데이터 조직이 하는 일 고품질 데이터를 기반으로 의사 결정권자에게 입력 제공 결정 과학 (Decision Science)라고 부르기도 함. 데이터를 고려한 결정(data informed dicisions)을 가능하게 해줌 : 새로운 혁신을 하고 싶을 때 vs 데이터 기반 결정(data driven decisions) 예를 들면 데이터 기반 지표 정의, 대시보드와 리포트 생성 등을 수행 어떻게 해야할지 방향을 제시해줌 고품질 데이터를 기반으로 사용자 서비스 경험 개선..
Route53 Amazon Route53은 가용성과 확장성이 뛰어난 DNS(도메인 이름 시스템) 웹 서비스 세가지 주요 기능, 즉 도메인 등록, DNS 라우팅, 상태 확인을 조합하여 실행 public host zone 과 private host zone 존재 Route53 = DNS(네임서버) + 모니터링 + L4 + GSLB 1. 도메인 이름 등록 웹 사이트의 이름(예: example.com)이 필요 Route 53을 통해 웹사이트 또는 웹 애플리케이션의 이름, 즉 도메인 이름을 등록 2. 인터넷 트래픽을 도메인의 리소스로 라우팅 사용자가 웹 브라우저를 열어 주소 표시줄에 도메인 이름(example.com) 또는 하위 도메인 이름(acme.example.com)을 입력한 경우 Route 53은 브라우저..
AWS EC2란? Amazon Web Service의 Elastic COompute Cloud(EC2) 서비스이다. EC2는 가상 컴퓨팅 환경을 제공하여 사용자가 필요에 따라 가상 서버(인스턴스) 프로비저닝하고 실행할 수 있도록 도와준다. EC2를 사용하면 사용자는 필요한 용량과 성능을 가진 가상 서버를 선택하고, 원하는 운영 체제를 설치하고, 필요에 따라 스토리지를 연결 할 수 있다. EC2 인스턴스는 유연하게 확장할 수 있어서 프로젝트의 요구 사항에 따라 가용성과 확장성을 조정할 수 있다. 또한, EC2 인스턴스는 필요에 따라 시작, 중지, 종료 등의 조작을 수행할 수 있으며, 사용자는 트래픽 패턴이나 작업 부하에 따라 인스턴스 수를 자동으로 조절할 수 있는 오토스케일링 기능도 사용할 수 있다. 인스..
