[정보처리기사 실기] 3장 데이터 입출력 구현 - 데이터베이스 기초 활용하기

데이터 베이스 종류

 

데이터베이스

(1) 개념 : 통합 관리되는 데이터 집합, 자료의 중복성 제거, 무결성 확보, 일관성 유지, 유용성 보장 중요

- 통합된 데이터, 저장된 데이터, 운영 데이터, 공용 데이터

 

(2) 특성

- 실시간 접근성, 계속적인 변화, 동시 공유, 내용 참조

 

(3) 종류

• 파일 시스템 개념 : 전 단계의 데이터 관리 방식
  • ISAM : 자료 내용은 주 저장부, 자료의 색인은 자료가 기록 위치와 함께 색인부에 기록
  • VSAM : 대형 운영체제에서 사용
• 관계형 데이터베이스 관리시스템 : RDBMS
  • 관계형 모델 기반 가장 보편화, 테이블 일부를 다른 테이블과 상하 관계로 표시하여 상관관계 정리, 유연성 및 유지관리 용이
  • Oracle, MySQL, SQL Server, Maria DB ...etc
• 계층형 데이터베이스 관리시스템 : HDBMS
  • 상하 종속적인 관계로 계층화하는 시스템, 접근 속도 빠르고, 구조 변경을 유연하게 대응하기 쉽지 않음
  • IMS, System2000 ...etc
• 네트워크 데이터베이스 관리시스템 : NDBMS 
  • 네트워크 망상 형태, 트리나 계층보다 유연하지만 설계 복잡
  • IDS, IDMS ..etc

(4) 데이터 베이스 관리 툴

- DBA 편리하고 쉽게 관리 가능

 

기능

- 데이터베이스 생성, 삭제, SQL 명령어 작성 및 실행, 상태 모니터링, 사용자 계정 관리, 데이터베이스 내보내기 가져오기, 환경 설정

 

DBMS

(1) 개념 : 관리의 복잡성 해결 하는 동시 관리 기능 지원하는 SW, 저장되는 종류는 어마무시하게 많다.

 

(2) 유형 

• Key-value DBMS : 키 기반 get,put,delete 제공, 메모리 기반 성능 우선 시스템 및 빅데이터 처리, 유니크 한 키에 하나의 값 가짐
  • Redis, DynamoDB
• 칼럼 기반 데이터 저장 DBMS : 키 안에 (칼럼, 값) 조합으로 여러 개의 필드 갖는 DBMS, 테이블 기반, 조인 미지원, 칼럼 기반 구글 빅 테이블 기반 구현
  • HBase, Cassandra
• 문서 저장 DBMS : 값의 데이터 타입이 문서라는 타입을 사용, SML, JSON과 같은 구조화된 데이터 타입, 복잡한 계층 구조 표현
  • MongoDB, Counchbase
• 그래프 DBMS : 시멘틱 웹과 온톨로지 분야에서 활용 그래프 형식, 노드와 엣지로 특정화, 노드 간 관계 구조화
  • Neo4j, AllegroGraph

 

(3) 특징

- 데이터 무결성, 일관성, 회복성, 보안성, 효율성

 

(4) 상용 DBMS 및 오픈 소스 기반 DBMS

- 상용은 판매하는 시스템, 유지보수 지원 원할

- 오픈 소스 기반은 원가 절감 노력과의 상관관계 파악

 

데이터베이스 기술 트렌드

(1) 빅데이터 : 페타바이트 크기의 비정형 데이터

 

(1) - 1 특성 : 양 다양성, 속도

 

(1) - 2 빅데이터 수집, 저장, 처리 기술

• 비정형/반정형 데이터 수집 : 정제 되지 않은 데이터 확보, 필요 정보 추출 : 척와, 플럼, 스크라이브
• 정형 데이터 수집 : 정제된 대용향 데이터 수집 및 전송 기술 : ETL, FTP, 스쿱, 하이호
• 분산데이터 저장/처리 : 대용량 파일의 효과적인 분산 저장 및 분산 처리 기술 : HDFS, 맵 리듀스
• 분산데이터 베이스 : HDFS 칼럼 기반 데이터베이스로 실시간 랜덤 조회 및 업데이트 가능 기술 : HBase

(1) - 3 빅데이터 분석, 실시간 처리 및 시각화를 위한 주요 기술

• 빅 데이터 분석 : 가공은 피그, 하이브 마이닝은 머하웃
• 빅데이터 실시간 처리 : 실시간 질의 처리는 임팔라, 워크플로우 관리는 우지
• 분산 코디네이션 : 상호 조정이 필요한 서비스를 분산 및 동시처리 제공, 주키퍼가 존재
• 분석 및 시각화 : 시각 표현으로 R이 존재

(2) NoSQL

- 전통적인 RDBMS와 다른 DBMS를 지칭하기 위한 용어 데이터 저장에 고정된 테이블 스키마가 필요하지 않고, 조인 연산 사용할 수 없으며, 수평적 확장 가능

 

(2) - 1 특성

• Basically Available : 언제든 접근, 가용성 중시
• Soft-State : 포함 정보 결정이 아니라 외부에 전송된 정보 결정, 특정 시점에서는 일관성 보장 안함
• Eventually Consistency : 시간 지나면 데이터 일관성 유지, 일관성 중시하고 지향

 

(2) - 2 유형

앞에서 언급한 데이터베이스 유형이다.

 

(3) 데이터 마이닝

- 체계적이고 자동으로 통계적 규칙이나 패턴 발견, 숨갸진 정보 찾아 이를 기반으로 서비스와 제품 도입

- 통계 분석은 가설이나 가정에 따른 분석, 검증이지만 데이터 마이닝은 수리 알고리즘 활용해 대규모 데이터에서 의미 있는 정보 찾음

 

(3) - 1 절차

- 목표 설정, 데이터 준비, 가공, 마이닝 기법 적용, 정보 검증

 

(3) - 2 주요 기법

- 데이터 마이닝은 텍스트 마이닝, 웹 마이닝과 함께 다양하게 사용

• 분류 규칙 : 과거 데이터 토대로 새로운 레코드의 결과 값 예측, 마케팅, 고객 신용 모형 
• 연관 규칙 : 항목들의 종속관계 찾는 기법, 제품이나 서비스 교차판매, 매장 진역, 사기 적발 등
• 연속 규칙 : 연관 규칙에 시간 관련 정보 포함, 개인별 트랜잭션 이력 데이터를 시계열적으로 분석해 트랜잭션 향후 발생 가능성 예측
• 데이터 군집화 : 소그룹으로 분할하는 작업으로 작업의 특성이 분류 규칙과 유사, 정보가 없는 상태에서 데이터 분류, 분석 대상은 결과값 없음