개요오늘은 WITH CTE 구문을 활용하여 조직도 쿼리를 작성해 볼 예정입니다.Oracle에서는 사전에 미리 WITH문을 통한 결과집합을 만들어두고, 임시 테이블을 다시 사용할 수 있는 기능을 제공하는데, 해당 기능 덕분에 재사용성을 높일 수 있습니다.계층 쿼리를 작성하기 전에, CTE 구문을 먼저 설명드리겠습니다. CTE (Common Table Expression)쿼리 안에서 임시로 사용할 수 있는 이름 붙은 결과 집합입니다.마치 함수 안에서 사용하는 지역 변수처럼, 복잡한 쿼리를 읽기 쉽게 나눌 수 있습니다.CTE(Common Table Expression)는 크게 두 가지 형태로 구분됩니다. 하나는 임시 테이블처럼 활용되는 일반 CTE이고, 다른 하나는 계층 구조나 반복적인 데이터를 처리하기 위..

기본 문법 정리 1. SELECT 1 FROM dual;oracle에서 쿼리 테스트를 위해 사용합니다.dual: 테이블 없이 SELECT를 가능하게 해주는 Oracle 전용 가상 테이블입니다.2. select distinct column as col from t1.table중복 제거 및 별칭을 적용합니다. 3. CASE 문조건 충족 여부에 따라 설정한 값을 반환하는 조건을 변환합니다.만족하는 조건이 없을 경우에는 null을 리턴합니다.조건 내에 언급된 컬럼의 레코드에 대해서 조건1을 만족 시 출력1 ..조건2를 만족 시 출력2 ..조건3을 만족 시 출력3 ..조건N을 만족 시 출력N ..모든 조건을 만족하지 않을 시 출력 N+1위 모든 내용을 컬럼Z로 출력합니다.select case when 조건..

매우 빠른 시간 안에 csv 파일을 db에 import 하기 위한 명령어인 LOAD DATA INFILE 명령어에서 LOCAL 키워드를 붙여야 하는 상황과 붙이지 않아도 되는 상황에 대해서 알아보려고 합니다. LOCAL 키워드 필요 유무를 알기 위해서는 DB Client와 Server에 대해 숙지하고 있어야 합니다. 본론으로 넘어가기 전에 DB Client/Server의 개념에 대해 간략하게 먼저 설명드리겠습니다. MariaDB Server/ClientMariaDB Server: DB를 실제로 실행하고 데이터를 저장/관리하는 프로그램 (mysqld 프로세스)MariaDB Client: DB 서버에 접속해서 명령어(SQL)를 보내는 프로그램 (mysql, mariadb, JDBC, Workbench) m..

회사 프로젝트에서 장비의 실시간 통계 정보를 저장하기 위해 Elasticsearch 검색엔진을 활용합니다. 단일 node를 가지는 standalone 구조에서는 primary, replica shard가 각각 1, 0으로 세팅되어 있으며, 클러스터 구조(2 node 이상) 에서는 5, 1로 세팅되어 있습니다. (ES 1.7.x 기준이며 템플릿 설정에 따라 다를 수 있습니다.) Failover를 위한 HA 구조 (ES 1(master), ES 2(backup) 에서 데이터의 정합성 이슈가 발생하였습니다. 해당 이슈에 대해 대략적인 내용을 설명드리겠습니다. 이슈 발생 상황장비의 CPU, Memory, Port Usage, Connectivity 정보와 같은 통계 정보를 일정 주기에 맞춰서 ES에 저장합니다...

소스코드의 변경사항과 버전은 Git을 통해 관리하지만, DB의 변경사항을 관리할 때는 Flyway를 활용할 수 있습니다.  Flyway를 활용한다면, 수동으로 sql문을 실행하고 애플리케이션을 재구동해야하는 번거로움을 해소할 수 있게 됩니다. Flyway에 관련한 개념과 was에서의 설정, Convention 등을 알아보겠습니다. Flywayopen-source database-migration toolDB MigrationDB Schema의 version을 관리하기 위한 방법DB의 변경사항을 추적하고, 업데이트 및 롤백을 보다 쉽게 할 수 있도록 도와줍니다.Schema데이터베이스의 구조와 제약조건에 관하여 전반적인 명세를 기술개념 스키마: 전체적인 view 내부 스키마: 물리적인 저장장치에서 DB가 저..

Elasticsearch는 관계형 데이터베이스와 다르게 쿼리(Query)와 필터(Filter)를 통해 데이터를 인덱싱 및 서칭 합니다. 쿼리와 필터는 모두 JSON형식으로 구현하며 이 QueryDSL(Domain Specific Language)라고 합니다. 쿼리와 필터는 각각 독립적인 요소로 실행되는데 이들에 대해 상세하게 설명드리도록 하겠습니다. 기본적인 형태소 분석 과정에 대해 설명드리자면, 대문자를 모두 소문자로 변환하고 중복 단어를 제거 후 분석 과정을 거치게 됩니다. 이러한 과정을 거치고 저장된 토큰을 텀(term)이라고 합니다. 이제 쿼리에 대해 하나씩 예시 코드와 함께 설명드리겠습니다. Indexing IndexQuery Indexing: 데이터를 검색될 수 있는 토큰으로 변환하기 위해 원..

Elasticsearch는 Apache Lucene 기반의 검색 엔진입니다. HTTP 웹 인터페이스와 스키마에서 자유로운 Json 문서와 함께 멀티테넌트 지원 전문 검색 엔진을 제공합니다. 더불어, 자바 기반의 오픈 소스이지만, 클라이언트는 수많은 언어(Java, C#, PHP, Python..)로 이용이 가능합니다. Apache Lucene 특징 자바 언어로 개발 사용자 위치 정보 이용 가능 다국어 검색 지원 자동 완성, 미리 보기 지원 철자 수정 기능 지원 Elasticsearch 특징 분산 시스템 여러 개의 node로 구성되는 분산 시스템 기존 node에서 새 node를 실행하여 연결하는 것만으로 확장 가능 data는 각 node에 분산하여 저장 복사본(replica)을 유지하여 각종 충돌로부터 n..

오늘은 DBMS 복제 기술인 MySQL Replication, Garela Cluster에 대해서 알아보려고 합니다. MySQL Replication은 Replication(복제) 기능만 제공하지만, Garela Cluster는 Replication(복제) 기능에 더해 Clustering 기능을 제공해 줍니다. 각각의 특징과 장, 단점에 대해 설명드리겠습니다. 1. MySQL Replication Master/Slave 방식의 구성 Master(Write) / Slave(Read) 여러 개의 DB를 권한에 따라 수직적인 구조(Master/Slave)로 구축하는 방식 Master node에서 write transaction이 수행되면 Master node는 MySQL Data File이란 곳에 Data 저..

오늘은 RDBMS 중에서도 많이 사용되고 있는 mysql과 mariadb를 알아보려고 합니다. 이 둘은 서로 호환성도 좋지만, 성능적인 면에서 크게 차이가 있습니다. 우선 공통점부터 알아보겠습니다. MySQL 세계에서 가장 많이 쓰이는 오픈 소스 관계형 데이터베이스 관리 시스템 다중 스레드. 다중 사용자, 구조질의어 형식의 데이터베이스 관리 시스템으로 Oracle이 관리 및 지원하고 있습니다. SQL이라고 칭하는 구조화된 쿼리 언어를 사용하여 데이터를 정의, 조작, 제어, 쿼리할 수 있습니다. 데이터가 하나 이상의 열과 행의 테이블에 저장되어 서로 다른 데이터 구조가 어떻게 관련되어 있는지 쉽게 파악할 수 있습니다. GUI를 통해 액세스할 수 있습니다.(MySQL Workbench) MariaDB MyS..

Redis(Remote Dictionary System) "key-value" 구조의 비정형 데이터를 저장하고 관리하기 위한 오픈 소스기반의 비관계형 데이터베이스 관리 시스템 in-memory 데이터 저장소(RAM)로서 모든 데이터를 메모리에 올려둡니다. (caching) 평균 작업 속도가 1ms로 굉장히 빠른 편이며, 초당 수백만 건의 작업이 가능합니다.(지연시간 감소, 처리량 증가) (caching) Scale-up, Scale-out, Replication, Sharding 기능 지원 Scale-up: 동일 서버 하드웨어에 컴퓨팅 자원(CPU, Memory)을 추가(서버 성능 향상) Scale-out: 서버를 여러 대 추가하여 시스템 확장(서버 성능 향상) Replication: 동일 데이터를 다수..