#1 데이터베이스 기초

1. 데이터베이스(DB)와 DBMS

컴퓨터에 체계적으로 저장한 데이터의 모음을 데이터베이스(Database)라 하며, 이를 관리하는 시스템을 DBMS(DataBase Management System)이라 한다. 보통 DBMS가 있어야 데이터베이스를 관리할 수 있으므로 보통 두 용어는 구분하지 않고 같은 의미로 사용된다.

---

2. 파일 시스템과 데이터베이스(DBMS)의 비교

단순히 컴퓨터에 데이터를 저장하는게 DB라면, 우리가 만든 메모장이나 운영체제 자체의 파일시스템도 DB라고 불러도 상관없는게 아닐까?

 

• 파일 시스템은 데이터 파일을 컴퓨터 디스크에 저장하는 시스템이다. 중복 데이터가 많이 발생하고, 데이터의 관계가 적혀있지 않기에 일관성이 떨어지며 보안, 백업, 복구등의 추가작업이 어렵다.
• 데이터베이스는 그러한 파일 시스템의 단점을 보안하고 데이터의 관계 모델링, 무결성 검증, 다수사용자의 동시성 제어, 성능등 데이터를 체계적으로 관리하는데 특화되어있는 시스템이다.

엑셀도 DB인가요?

엑셀도 DB의 기능을 일부 지원하기는 한다. 하지만 일반적인 DB(RDBMS)와는 많이 다르다.

Spread Sheet (엑셀)	DataBase (관계형 RDBMS)
GUI 소프트웨어 애플리케이션이다	SQL과 같은 질의 언어(query language)를 사용해 액세스하는 데이터 스토어(data store)다
행(row)과 열(column)의 형식으로 데이터를 구조화한다	규칙(rule)과 관계(relationship)로 데이터를 구조화한다
정보를 셀(cell)에 조직화(organize)한다	정보를 복합적인 컬렉션(Entity)에 조직화한다
제한적인 양의 데이터에 대한 액세스를 제공한다(보통 100만건이하)	대량의 데이터에 대한 액세스를 기본으로 제공한다
수동으로 셀에 데이터를 입력한다	CRUD로 엄격하고 일관적인 데이터 입력만 가능하다.
일반적으로 한 번에 한 명의 사용자	다중 사용자 접근을 기본으로 구성되어져있다.
사용자에 의해 통제된다	데이터베이스 관리 시스템(database management system)에 의해 체계적으로 데이터가 통제된다

---

---

3. 데이터베이스의 용어

• 비정형 데이터(Unstructured data) - 가공되지 않은 데이터를 (글, 영상, 비디오등 모든 것) 의미한다.
• 정형, 반정형 데이터(Structured data) - 테이블이나 관계를 정의해 사용하기 좋게 분류, 가공된 데이터를 의미한다. 참고로 HTML 같이 약간만 가공된 데이터를 반정형 (Semi Structured) 데이터라고 부르기도 한다.
  
• 트랜잭션(Transaction)은 DB의 상태를 변환시키는 하나의 작업 단위 (또는 한번에 모두 수행해야할 연산들)을 의미한다. ACID 원칙을 가진다
  

트랜잭션은 '거래' 라는 의미로 은행에서 사용하는 그 거래가 맞습니다.

은행 DB 시스템을 만든다고 가정해봅시다.
1. A은행에서 B은행으로 송금합니다.
2. A은행에서 송금이 성공하였고, B은행에서 받는 와중 오류가 발생하여 입금받지 못했습니다.
이를 문제없이 복구하기 위해선 어떻게 해야할까요? A에 연락을 다시해서 해당거래를 취소하고, 오류가 해결 된 다음 입금되면 안되니 B에 입금되더라도 무시해라고 또 알려야할까요?

이러한 문제를 해결하고 데이터의 안정성, 무결성을 확보하는 방법이 '트랜잭션' 단위 처리입니다.
데이터베이스에서는 각각의 작업을 '트랜잭션' 단위로 관리하며 트랜잭션이 정상 완료되지않았다면 앞에 했던 과정들을 전부 원상태로 되돌립니다. (한 트랜잭션에서 일부만 완료되지 않습니다.)

Atomicity(원자성) - 더 이상 작은 단위로 쪼갤 수 없다.

• 한 트랜잭션 내의 모든 명령은 반드시 완벽히 수행되어야 하며, 모두가 완벽히 수행되지 않고 어느하나라도 오류가 발생하면 트랜잭션 전부가 취소되어야 한다. 부분 완료는 불가능하다.
• 보통 트랜잭션 성공 연산을 Commit(커밋), 실패 연산을 Rollback(또는 Aborted) 라 부른다.

Consistency(일관성) - 언제나 같은 입력에는 같은 결과가 나와야한다.

• 트랜잭션이 그 실행을 성공적으로 완료하면 언제나 일관성 있는 데이터베이스 상태로 변환한다.
• 시스템이 가지고 있는 고정요소는 트랜잭션 수행 전과 트랜잭션 수행 완료 후의 상태가 같아야 한다.

Isolation(독립성,격리성) - 각각의 트랜잭션은 독립적이다. 실행 중 서로 영향끼치지 않는다.

• 둘 이상의 트랜잭션이 동시에 병행 실행되는 경우 어느 하나의 트랜잭션 실행중에 다른 트랜잭션의 연산이 끼어들 수 없다.
• 수행중인 트랜잭션은 완전히 완료될 때까지 다른 트랜잭션에서 수행 결과를 참조할 수 없다.

Durablility(영속성,지속성) - 데이터는 영구적으로 저장된다.

• 성공적으로 완료된 트랜잭션의 결과는 시스템이 고장나더라도 영구적으로 반영되어야 한다.

---

• 데이터베이스(DB)는 트랜잭션의 세부 사항을 기록하는 것과 같이 데이터를 캡처하고 저장하는 데 사용한다.
• ETL은 추출(Extract), 변환(Transform), 로드(Load)를 의미하며 여러 조직에서 사용하는 데이터들을 일관성있게 DB, Data Lake, Data Warehouse 등에 결합하기 위해 데이터를 다루는 과정이다.
  
  
• 데이터 레이크(Data Lake)는 정형, 반정형 및 비정형 데이터를 비롯한 모든 가공되지 않은 다양한 종류의 데이터를 한 곳에 모아둔 중앙 리포지토리. 빅데이터를 효율적으로 분석하고 사용하고자 다양한 영역의 Raw 데이터를 한 곳에 모아서 관리하고자 하는 목적이다.
• 데이터 웨어하우스(DW)는 데이터 분석을 위해 특별히 설계되었으며, 여기에는 대량의 데이터를 읽어 데이터 전반에 걸친 관계와 추세를 파악하는 작업이 포함된다. 기존 DB에서 [대출금액, 예금금액, 재고수량] 처럼 기능 중심으로 저장했다면 DW는 [고객, 거래처] 처럼 주제 중심으로 데이터를 구성, 관리하여 분석하기 쉬운 형태로 제공한다. (OLTP, 온라인분석처리)
• 데이터 마트(Data Mart)는 금융, 마케팅 또는 영업과 같은 특정 팀 또는 사업 단위의 요구를 충족시키는 데이터 웨어하우스이다. 규모가 더 작고, 집중적이며 각각의 팀과 목적에 가장 잘 맞는 데이터 요약을 포함할 수 있다. 데이터 마트는 데이터 웨어하우스의 일부일 수도 있다.

Top - 통계, 분석 프로그램(프런트) / Middle - 데이터 분석엔진(백엔드) / Bottom - 실제 DB서버

참고로 이러한 DW 시스템은 IBM에서 1980년도에 처음으로 만들어서 서비스로 제공했다.

---

4. 데이터베이스의 종류

대부분 테이블 형태의 RDBMS(관계형 데이터베이스)를 많이 사용한다. 하지만 사용목적에 따라 계층(tree)형, 그래프(graph)형등 다양한 데이터베이스가 존재한다. 근래에 들어 RDBMS의 모델을 벗어나 SQL문 없이 사용 할 수 있는 DB를 통틀어 NoSQL이라 부르기도 한다. (몽고DB, 카산드라, Neo4J등)

 

이 글에서는 가장 오래되었고 많이 사용하는 관계형 DB(RDBMS)를 기준으로 데이터베이스를 설명한다.

NoSQL 데이터베이스의 특징을 살펴보면, 기존의 관계형 데이터베이스 보다 더 융통성 있는 데이터 모델을 사용하고, 데이터의 저장 및 검색을 위한 특화된 매커니즘을 제공합니다. 이를 통해 NoSQL 데이터베이스는 단순 검색 및 추가 작업에 있어서 매우 최적화된 키 값(Key- Value)저장 기법을 사용하여, 응답속도나, 처리 효율 등에 있어서 매우 뛰어난 성능을 나타냅니다. 

단순한 Kev-Value DB(Riak, Vodemort)와 더불어 다양한 형태의 NoSQL DB가 존재합니다.

Wide Columnar Store(HBase, Cassandra) - 발전된 Key-Value 형태

Document DB(MongoDB, CoughDB)- JSON, XML 데이터 구조사용

Graph DB(Neo4J, OreientDB) - 그래프 모델 사용

• 관계형 모델을 사용하지 않으며 테이블간의 조인 기능 없음
• 직접 프로그래밍을 하는 등의 비SQL 인터페이스를 통한 데이터 액세스
• 대부분 여러 대의 데이터베이스 서버를 묶어서(클러스터링) 하나의 데이터베이스를 구성
• 관계형 데이터베이스에서는 지원하는 Data처리 완결성(Transaction ACID 지원) 미보장
• 데이터의 스키마와 속성들을 다양하게 수용 및 동적 정의 (Schema-less)
• 데이터베이스의 중단 없는 서비스와 자동 복구 기능지원
• 다수가 Open Source로 제공
 
설명드린 용어들이 다소 어렵습니다만, 정리해보면, NoSQL은 초고용량 데이터 처리 등 성능에 특화된 목적을 위해, 비관계형 데이터 저장소에, 비구조적인 데이터를 저장하기 위한 분산 저장 시스템이라고 볼 수 있습니다. 

---

---

5. SQL

Structured Query Language, 정형 질의 언어

말 그대로 정형화된 데이터(DB)를 다루기위해 사용하는 언어이다. 어떠한 DB든 CRUD조작(Create, Read, Update, Delete)가 존재하며 프로그램마다 명령어는 다르지만 보통 아래와 같이 3가지로 나누어진다.

 

DML (Data Manipulation Language, 데이터 조작)

- INSERT, DELETE, UPDATE, SELECT 문이 여기에 해당된다. 추가, 삭제, 갱신, 조회 등

DDL (Data Definition Language, 데이터 정의)

- CREATE, ALTER, DROP, TRUNCATE 문이 여기에 해당된다. 생성, 변경, 제거 등

DCL (Data Control Language, 데이터 제어)- GRANT, REVOKE 문이 여기에 해당된다. 객체에게 접근 권한을 주고 회수하는 명령어.(보안, 무결성)

 

그 외, 트랜잭션을 제어하는 언어(TCL)인 COMMIT, ROLLBACK, SAVEPOINT 등이 있다.