[ TIL 220921 ]

📌SQLD

Chap 01 . 데이터 모델링의 이해
- Modeling 은 현실세계를 단순화하여 표현하는 기법
다양한 현상에 대해서 일정한 표기법에 의해 표현해 놓은 모형을 만들어 가는 일
현실세계에서 필요한 데이터를 저장하는 데이터베이스를 구축하기 위한 분석/ 설계의 과정
관리하고자하는 데이터
  ㅇ 특징 : 추상화 , 단순화, 명확화
  ㅇ 세 가지 관점 : 데이터관점, 프로세스 관점, 데이터와 프로세스의 상관 관점 ( interaction )
  ㅇ 세 가지 단계
      1. 개념적 데이터 모델링 : 전사적 데이터 모델링 , 추상화의 레벨이 가장 높음, 업무 중심적, 포괄적 수준의 모델링
      2. 논리적 데이터 모델링 : 재사용성 가장 높음 , key , 속성 관계등 모두 표현하는 단계
      3. 물리적 데이터 모델링 : 성능이나 가용성 등 물리적인 성격 고려해 모델 표현   
ㅇ 데이터의 독립성 : ANSI-SPARC 아키텍처는 DBMS의 추상적 설계 표준 -> DB에 대한 사용자들의 관점과 DB가 실제로 표현되는 물리적인 방식을 분리하기 위함
  - DB 존재 목적 중 하나 : 사용자에게 데이터 보여줄 수 있는 view제공하는 것
  -> 사용자 관점에서는 내부 구조에 대해 굳이 알 필요가 없음
  -> DBA 관점에서는 어플리케이션에 영향을 주지 않고 데이터베이스의 구조를 변경할 수 있어야 독립성이 보장된다고 할 수 있음
  - 3단계 스키마 구조
  1. 외부 스키마 External Schema 사용자 관점 Multiple User’s View
  2. 개념 스키마 Conceptual Schema 통합된 관점 Community View of DB
  3. 내부 스키마 Internal Schema 물리적 관점 Phsical Representation ( 물리적 저장 구조 ) Q . 외부 스키마는 DB의 각 사용자나 응용 프로그래머가 접근하는 DB의 정의, 개념 스키마는 모든 사용자 관점을 통합한 조직 전체 관점의 통합적인 관점.
개념 스키마는 외부스키마의 사용자에 + DBA인 것?
위의 ANSI-SPARC 아키텍처의 3단계 스키마 구조가 보장하는 독립성
A. 논리적 독립성 : 개념 스키마가 변경되어 외부 스키마는 영향받지 않는다
B. 물리적 독립성 : 내부 스키마가 변경되어도 외부/개념 스키마는 영향받지 않는다 - ERD ( Entity Relationship Diagram )
Entity 들과 관계에 관한 다이어그램
표기 방식 : Peter Chen , IDEF1X , IE/Crow’s Foot, Min-Max/ISO , UML , Case Method/Barker ( 오라클 )
- IE/Crow’s Foot 부모 엔터티의 식별자가 자식 엔터티의 주식별자 ( 식별자 관계 ) ,
부모 엔터티의 식별자가 자식 엔터티의 일반 속성 ( 비식별자 관계 ) : 이 부분 이해 어려움. - ERD 작성 순서
1. 엔터티 도출하고 그린다
2. 엔터티 적절하게 배치한다
3. 엔터티 간의 관계를 설정한다
4. 관계명을 기입한다
5. 관계의 참여도를 기입한다
6. 관계의 필수/ 선택 여부를 기입한다 - 시스템 분석을 위한 모델링의 기능
1. 시스템이 향후 변화하고자 하는 모습으로 가시화 해준다
2. 시스템을 구축하는 과정에서 결정한 것을 문서화한다
3. 시스템을 구축하는 구조화된 틀을 제공한다
4. 시스템의 구조와 행동을 명세화해준다
-  Entity : 독립체, DB에서 식별이 가능한 객체
   업무에서 쓰이는 데이터를 용도별로 분류한 그룹
   명확한 조건이 기준이 되어야 함
ㅇ 엔터티는 table, 인스턴스 row, 속성 column
ㅇ 엔터티 특징 : 실질적으로 업무에서 쓰이는 정보, 유니크함 보장하는 식별자가 있어야함, 2개 이상의 인스턴스, 1개 이상 속성, 다른 엔터티와 1개 이상의 관계
ㅇ 엔터티 분류 : 유형 엔터티, 개념 엔터티, 사건 엔터티 / (발생시점) 기본 엔터티, 중심엔터티, 행위 엔터티
* 기본 엔터티 : 독립적으로 생성, 자식 엔터티 가질 수 있음 ex ) 상품, 회원
* 중심 엔터티 : 기본 엔터티로 부터 파생, 행위 엔터티 생성 ex ) 주문
* 행위 엔터티 : 2개 이상의 엔터티로부터 파생 ex ) 주문 내역, 이벤트 응모 이력 ( 상세 설계단계에서 많이 도출 ) * 엔터티 이름정하기
1. 업무에서 실제로 쓰이는 용어 사용
2. 한글 약어로 사용하지 않고 영문 대문자로 표기
3. 단수 명사로 표현, 띄어쓰기는 하지 않음
4. 다른 엔터티와 의미상으로 중복될 수 없음
5. 해당 엔터티가 갖고 있는 데이터가 무엇인지 명확하게 표현 - 속성 :

 

📌 딥러닝기초

- 구글 코랩 개요 : 웹브라우저로 코랩 접속, 딥러닝 위해 필요한 편집 마치면 구글 클라우드 서버에서 해당 프로그램 실행 결과를 구글 코랩에 보여줌. 구글 코랩Colaboratory을 통해 만들고 실행한 파일은 구글 드라이버에 저장하고 불러올 수 있다

- 코랩 기본 설정 : 수정 > 노트 설정 > 하드웨어 가속기 GPU/TPU 
* TPU : 구글에서 만든 데이터 분석 및 딥러닝용 하드웨어, 구글 클라우드 서버 내에서만 사용할 수 있으며, GPU보다 특정 환경에서 훨씬 빠른 연산이 가능

- 딥러닝 : 텐서플로 라이브러리가 반드시 필요함
- tf.__version__ : 텐서플로 라이브러리 버전 확인 

- 머신러닝 : 데이터 안에서 규칙 발견, 그 규칙을 새로운 데이터에 적용해서 새로운 결과 도출하는 데 초점이 맞추어 있다

* csv : comma seperated value

1. 데이터를 머신러닝 알고리즘에 넣고
2. 데이터가 가진 패턴과 규칙을 분석해 저장 : 학습 training
3. 새로운 환자가 오면 저장된 분석 결과와 비교해 생존 가능성 예측 

머신러닝의 예측 : 얼마나 정확한 경계선 긋느냐

퍼셉트론 > 아달라인 > 선형 회귀 > 딥러닝

#1 환경 준비
from tensorflow.python.keras.models import Sequential
from tensorflow.python.keras.layers imoprt Dense
import numpy as np

#2 데이터 준비
!git clone https://github.com/taehojo/data.git 

Data_set=np.loadtxt("./data/ThoraricSurgery3.csv", delimiter=",")
X=Data_set[:,0:16]
y=Data_set[:,16]

#3 구조결정
model=Sequential()
model.add(Dense(30, input_dim=16, activation='relu')) #은닉층
model.add(Dense(1, activation='sigmoid')) #출력층

#4 모델 실행
model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])
history=model.fit(X,y,epochs=5, batch_size=16) #한 번에 몇 개의 데이터 사용할 것인지

* 텐서플로 : 구글에서 만든 딥러닝 라이브러리 , 사용법 어려워 keras 개발해 사용 비행기와 조종사 사이

- 딥러닝은 여러 층이 쌓여있는 구조

keras의 model=Sequential() 함수는 딥러닝의 한 층 한 층을 model.add()라는함수 사용해 간단히 추가시켜 줌 
- Dense는 입력과 출력을 촘촘하게 모두 연결하라는 것

이제 알아야할 것
1. 좋은 딥러닝 모델을 만들려면 몇 개의 층으로 쌓아 올려야 하는가?
2. Dense 함수 안에 있는 숫자와 설정의 의미는 무엇이며, 어떻게 정의해야 하는가? 
- 어떤 데이터를 가지고 무엇을 할 것인지에 따라 딥러닝 설계
- 각 설정과 변수의 의미를 알고 이것을 자유롭게 구성할 수 있는지가 딥러닝을 잘 다루는지 여부 결정

- 딥러닝의 수학 원리를 배울 때 초반에 일차함수 식이 등장하는데 x가 주어지고 원하는 y값이 있을 때 적절한 a와 b를 찾는 것. 이것이 딥러닝을 설명하는 가장 간단한 표현. 
- 딥러닝을 이해하는 데 가장 중요한 수학 원리는 미분. 딥러닝은 결국 일차함수의 a와 b값을 구하는 것인데, a와 b는 이차 함수 포물선의 최솟값을 구하는 것. 

 - 딥러닝을 이해하는 데 가장 중요한 수학원리는 미분( 접선의 기울기 , 일차함수 )
 - 일차함수의 a와 b값을 구하는 것. a와 b값은 이차 함수 포물선의 최솟값을 구하는 것 
 - 그리고 이 최솟값을 미분으로 구하는 것

 - 순간변화율 : 미분 , 어느 쪽을 향하는 방향성을 지니고 있음, 이 방향을 따라 직선을 길게 그려주면 접선이 그려짐. 이 선이 이 점의 기울기

- 미분 = 순간 변화율 구하는 것

- 미분계수 = 기울기 

- 편미분 : 원하는 한 가지 변수만 미분, 그 외에는 모두 상수로 취급

- 시그모이드 함수 : 지수 함수에서 밑 값이 자연상수 e인 함수
자연상수 : 무리수 : 2.718281828...

- 시그 모이드 함수

-> 참 거짓 판단 장치 편에서 중요하게 다룰 함수 : 시그모이드 함수

- 딥러닝의 가장 말단에서 이루어지는 기본적인 두 가지 계산 원리 : 선형 회귀와 로지스틱 회귀

- 가장 훌륭한 예측선 : 선형 회귀 linear regression 분석을 이용한 모델
x값에 따라 y값이 변함 / x: 독립 변수 / y : 종속 변수
하나의 x값 : 단순 선형 회귀 simple linear regression 
여러개의 x값 : 다중 선형 회귀 multiple linear regression

- 데이터에서 주어진 점들의 특징을 담은 직선 : 일차 함수 : y=ax+b 여기서 a와 b를 정확히 예측해 내야함
선형회귀=정확한 선을 그려내는 과정=최적의 a값과 b값을 찾아내는 작업

- 최소 제곱법 method of least squares 

 

하지만 이 공식만으로 모든 상황을 해겨랗기엔 어려움. 여러 개의 입력을 처리하기에는 무리가 있기 때문.
-> 그래서 가장 많이 사용하는 방법 ' 일단 그리고 조금씩 수정해나가기 ' 오차가 최소가 될 때까지 이 과정을 계속 반복
여기서 중요한 것 * 나중에 그린 선이 먼저 그린 선보다 더 좋은지 나쁜지를 판단하는 방법 , 즉 각 선의 오차를 계산할 수 있어야하고, 오차가 더 작은 쪽으로 바꾸는 알고리즘이 필요함

 이를 위해 선의 오차를 평가하는 방법 필요
= 평균 제곱 오차 Mean Square Error MSE
( 실제값 - 예측값 )^2의 합
목표 : a,b 어떻게 조절하면 MSE 평균 제곱 오차가 최소가 될까? MSE가 최소가 되도록 a로 미분!

 

- 이렇듯 선형회귀란 임의의 직선을 그어 이에 대한 평균 제곱 오차를 구하고, 이 값을 가장 작게 만들어주는 a값과 b값을 찾아가는 작업

- 경사하강법 gradient decent

미분 기울기를 이용해 어떤 a값이 더 m(최솟값)에 가까운지 판단하는 경사 하강법
미분 = 한 점에서의 순간 기울기
최솟값을 찾는 건 = 미분값이 0인 지점을 찾는 것 = 기울기가 0

 경사하강법 : 이렇게 반복적으로 기울기 a를 변화시켜서 m값을 찾아내는 방법
학습률 learning rate : 
기울기의 부호를 바꾸어 이동시킬 때 적절한 거리를 찾지 못해 너무 멀리 이동시키면 a 값이 한 점으로 모이지 않고 그림 5-4 와 같이 위로 치솟아 버린다. 따라서 어느만큼 이동시킬지 신중히 결정해야 하는데, 이때 이동거리를 정해주는 것이 바로 학습률, 딥러닝에서 학습률의 값을 적절히 바꾸면서 최적의 학습률을 찾는 것은 중요한 최적화 과정 중 하나이다

 다시말해 경사하강법은 오차의 변화에 따라 이차 함수 그래프를 만들고 적절한 학습률을 설정해 미분 값이 0인 지점을 구하는 것. y절편 b값도 이와 같은 성질. b값이 너무 크면 오차도 함께 커지고, 너무 작아도 오차가 커진다. 그래서 최적의 b값을 구할 때 역시 경사 하강법 사용한다