전체 글 (64) 썸네일형 리스트형 [DL] 6. 모델 학습 기술 과정 개요모델 학습 기술 모델 학습에 영향을 미칠 수 있는 요소들은 어떤 것이 있는지 살펴보고 각각에 대해 알아봅니다.과소적합과 과대적합 과소적합과 과대적합의 개념을 배우고 이를 어떻게 방지할 수 있는 방법은 어떤 것이 있는지 살펴봅니다.IMDB 딥러닝 모델 예제 앞서 다룬 내용을 어떻게 적용하는지 IMDB 예제를 통해 알아봅니다. 학습 목표딥러닝 모델 학습을 위한 다양한 개념과 기술들을 설명할 수 있습니다.모델 학습이 잘 안될 경우 발생하는 과소적합/과대적합에 대해 설명할 수 있습니다.IMDB 데이터셋을 이용해 긍정/부정 분류를 위한 딥러닝 모델을 만들어봅니다. 모델 학습 기술학습 단위전통적인 통계기법에서는 모든 데이터를 한번에 알고리즘에 넣고 분석하는 전체 배치(Full Batch) 방식을 사용전체 .. [DL] 5. 모델 저장과 콜백 과정 개요MNIST 딥러닝 모델 예제 숫자 데이터를 분류하는 모델을 설계하고 학습시킵니다. 해당 모델은 오늘 배울 내용을 적용해볼 베이스라인이 될 것입니다.모델 저장과 로드 학습시킨 모델의 가중치를 저장하고 불러오는 방법을 학습하고 직접 실습해봅니다.콜백 (Callbacks) 학습에 관여하는 콜백 기능 중 대표적인 몇가지에 대해 알아보고 직접 실습해봅니다. 학습 목표딥러닝 모델을 저장하고 복원하는 방법에 대해서 설명할 수 있습니다.모델 학습 시에 사용할 수 있는 콜백 함수에 대해 설명할 수 있습니다.학습시킨 모델을 저장하고 관리하는 것은 모델 관리, 더 나아가 MLOps(데이터 수집부터 모델 학습, 서비스 배포까지를 포함하는 시스템) 의 시작점이라고 할 수 있습니다. 1. MNIST 모델: 손으로 쓴 숫.. [DL] 3. 딥러닝 구조와 모델 1. 딥러닝 구조모델 구조케라스에서 제공하는 API들의 구성도를 살펴보면, 크게 Model API와 Layer API가 있고 필요한 모듈들을 Modules API를 호출해서 사용합니다. 딥러닝 모델은 여러 레이어들로 구성되어 있습니다.2. 레이어(Layer) 먼저 딥러닝을 사용하는데 필요한 라이브러리인 TensorFlow와 keras를 임포트합니다. 또한 케라스(Keras)의 레이어를 사용할 수 있도록 임포트합니다.import tensorflow as tffrom tensorflow import kerasfrom tensorflow.keras import layers딥러닝은 여러 개의 레이어(Layer)로 구성되어 있으며, 기본적으로 입력층(Input Layer), 은닉층(Hidden Layer), 출력.. [DL] 2. 텐서 표현과 연산 학습 내용텐서 : 텐서란 무엇인지, 어떤 구조로 되어있는지 등 텐서의 개념에 대해 살펴보자텐서 타입 및 변환 : 텐서에 담을 수 있는 데이터의 타입에 대해 알아보고 텐서의 형태를 어떻게 바꾸는지 알아보자텐서 연산 : 텐서 연산은 어떤 종류가 있고 어떻게 계산 할 수 있는지 살펴봅니다. 1. 텐서(Tensor)데이터를 담기위한 컨테이너(container)다차원 배열 또는 리스트 형태와 유사일반적으로 수치형 데이터를 저장하고, 동적 크기를 가짐Rank : 축의 개수Shape : 형상(각 축에 따른 차원 개수)Type : 데이터 타입 Scalars (rank-0 tensors)하나의 숫자만 담고 있는 텐서축 개수 0개import numpy as npx = np.array(12)x 1D Tensor(Vector.. [ML] 비지도학습 학습 내용비지도학습 방법에 대해 알아보자 비지도 학습타겟값(y의 값)이 없음 차원축소feature가 많을수록 데이터의 차원이 커지게 되는데, 데이터셋의 크기에 비해 feature가 많아질 경우 이를 표현하기 위한 변수가 많아져 모델의 복잡성이 증가되고 과적합 문제발생이를 방지하기 위해 차원 축소 사용차원 : 데이터 포인트를 공간에 표현하기 위해 필요한 최소한의 축의 개수 PCA(Principal Component Analysis)차원축소 (PCA)PCA(Principal Component Analysis)차원 축소 기법 중 대표적인 기법고차원에서 저차원으로 축소하는 선형 투영 기법데이터의 차원이 증가할 수록 거리가 증가하고 오버피팅 가능성이 커짐PCA 단계데이터에서 분산이 최대인 축을 찾음 (첫번째 축).. [DL] 1. 딥러닝 인공신경망인간의 뇌에서 신경 세포의 구조와 동작을 모방하여 구현신경 세포(Neuron)와 인공 뉴런(Artificial Neuron)은 여러 신호를 받아 하나의 신호를 흘려주는 동작과 각각이 세포 혹은 노드 단위로 작동하는 구조가 닮음신호를 그대로 흘려보내는 것이 아니라 보내지 않을 수도 있고 혹은 다른 크기로 보내는 것이 닮음일반적으로 인공신경망은 은닉층이 소수인 반면, 딥러닝은 은닉층이 다수 포함된 심층신경망(deep neural network) 형태 인공신경망 역사1. 인공신경망과 딥러닝일반 신경망 : 데이터에서 직접 특징(handcrafted feature)을 추출해서 만든 특징 벡터(feature vector)를 입력을 사용하고, 특징 벡터들의 품질에 영향데이터 → 특징추출(특징벡터) → 신경망.. [ML] 지도학습(회귀) 학습 내용지도학습 방법중 회귀문제에서 활용할 수 있는 방법들을 정리하였다. 지도학습(회귀)선형 회귀선형회귀단순 선형 회귀: 독립변수(피처)가 1개다중 선형 회귀: 독립변수(피처)가 2개 이상비용함수 (Cost function)손실함수(Loss function), 목적함수 (objective function)오차(error)를 계산 (실제 값과 예측 값 차이)평균 제곱 오차를 최소화하는 파라미터를 찾음경사하강법 (Gradient Descent)경사하강법을 활용해 최소 에러 값을 찾음비용함수의 기울기 절대값이 가장 작은 지점을 찾아서 오차가 작은 모델을 만듭니다.# 라이브러리 불러오기import pandas as pdfrom sklearn.model_selection import train_test_spli.. [ML] 지도학습(분류) 학습 내용지도학습 알고리즘 중 분류 문제에서 사용되는 알고리즘에 대해 학습하고자 한다 의사결정나무지도학습 알고리즘 (분류, 회귀)직관적인 알고리즘 (이해 쉬움)과대적합되기 쉬운 알고리즘 (트리 깊이 제한 필요)정보이득(Infomation gain)이 최대가 되는 특성을 나누는 기준(불순도를 측정하는 기준)은 '지니'와 ’엔트로피’가 사용됨데이터가 한 종류만 있다면 엔트로피/지니불순도는 0에 가까움, 서로 다른 데이터의 비율이 비슷하면 1에 가까움정보이득(Infomation gain)이 최대 (1-불순도)# 의사결정나무from sklearn.tree import DecisionTreeClassifiermodel = DecisionTreeClassifier(random_state=0)model.fit(X_t.. 이전 1 ··· 4 5 6 7 8 다음 목록 더보기
