본문 바로가기

전체 글

 (65)
데이터 분석 학습 및 프로젝트를 위한 데이터 수집 사이트, 꿀팁 정리 학습 내용데이터 수집, 다운로드를 할 수 있는 다양한 사이트들을 공유하고자 한다데이터 분석을 하려하는데 필요한 데이터셋을 좀 더 쉽게 찾을 수 있다.  빅데이터 분석을 위한 데이터셋 공모전이나 데이터 분석 공부를 위해서는 충분한 양의 데이터 셋 확보가 중요한 과제이다데이터를 수집하기 위해서는 시간과 비용이 많이 소모된다이를 줄이기 위해서 기존에 공개된 데이터를 먼저 찾아보는 것이 중요하다이를 위해서 몇 개의 유용한 사이트를 공유하고자 한다 공공데이터AI HUBhttps://aihub.or.kr/- 다양한 데이터셋이 많고 대용량의 데이터가 많은 편이라 실제 큰 프로젝트나 딥러닝 학습용 데이터셋을 찾을 때 가장 유용한 것 같다 공공 데이터 포털https://www.data.go.kr/- 우리나라의 여러 공..
[DL] 사용자 정의 훈련 스탭 (fit 메서드 커스터마이즈 하기) 학습 내용사용자 정의 훈련 스탭을 사용하는 방법을 이해한다사용자 정의 훈련 탭을 사용하는 이유를 이해한다.  사용자 정의 훈련 스텝 사용이유복잡한 모델 트레이닝 로직:기본 fit 메서드는 일반적인 훈련 루프를 제공하지만, 특별한 요구사항이 있는 경우 이를 커스터마이즈해야함.GAN(Generative Adversarial Networks)처럼 두 개 이상의 모델을 동시에 훈련시켜야 하는 경우추가적인 손실 함수를 사용하는 경우보다 세밀한 제어:훈련 프로세스를 더 세밀하게 제어하고 각 단계에서 무슨 일이 일어나는지 명확히 이해하고자 하는 경우에 유용문제를 디버깅하거나 최적화할 수 있습니다.동적 학습률 변경:학습 중 특정 조건에 따라 학습률을 동적으로 변경하거나 맞춤형 학습률 스케줄링을 적용맞춤형 손실 함수 및..
[DL] keras API (Sequential, Functional, Subclassing) 이해하기 학습 내용케라스 API 구조를 이해한다  1. Sequential API특징:순차적인 레이어 쌓기 방식으로 간단하고 직관적.단순한 네트워크 구조에 적합.예제:import tensorflow as tffrom tensorflow.keras.models import Sequentialfrom tensorflow.keras.layers import Dense, Flatten, Conv2Dmodel = Sequential([ Conv2D(32, kernel_size=(3,3), activation='relu', input_shape=(28,28,1)), Flatten(), Dense(128, activation='relu'), Dense(10, activation='softmax')]) ..
[kaggle] Bike Sharing Demand (자전거 수요 예측) 학습 내용데이터 분석 및 모델링의 전 과정을 알 수 있다시각화 기법들을 알 수 있다 자세한 코드보기 :https://github.com/seongyeon1/aiffel/blob/main/Exploration/Quest2/project2_sykim.ipynbhttps://github.com/seongyeon1/aiffel/blob/main/Exploration/Quest2/Bike_sharing.ipynb첫 번째 링크는 두 번째 링크 이후에 작성한 코드입니다. Bike sharing demand대회 관련 링크https://www.kaggle.com/c/bike-sharing-demand데이터 및 문제 설명시계열과 수치형, 범주형으로 구성된 다양한 피처들로 자전거 대여량을 예측하는 회귀문제이다.데이터 필드..
[sklearn] 선형회귀와 경사하강법 직접 구현하기 (diabetes dataset) 학습 내용선형회귀와 경사 하강법을 직접 손으로 구현해보며 과정을 이해한다데이터 분석 및 모델링의 전체 과정을 이해한다추가적으로 피처 엔지니어링도 진행하여 모델을 개선해보자 자세한 코드 보기 : https://github.com/seongyeon1/aiffel/blob/main/Exploration/Quest2/project1_sykim.ipynb1. 데이터 가져오기from sklearn.datasets import load_diabetesdiabetes = load_diabetes()df_X = diabetes.datadf_y = diabetes.target2. 모델에 입력할 데이터 X 준비하기import numpy as npX = np.array(df_X)X.shape 3. 모델에 입력할 데이터 X 준..
[kaggle] 포켓몬 분류하기 프로젝트 (Tree 모델들의 Feature importance를 확인해보자) 학습 내용Tree 모델들의 Feature importance를 확인해보자Feature importance를 바탕으로 Feature를 선택하고 이에 따른 성능 변화를 확인할 수 있다 추가적으로 배울 수 있는 것다양한 전처리 기법들 ( 문자열 전처리를 위한 정규식, 원핫인코딩 형태로 변환)시각화 방법 들어가며오늘은 전설의 포켓몬 분류하기 프로젝트를 진행하였습니다.그러다가 문득 상관관계가 높은 피처를 발견하게 되었고, 이 피처의 존재유무가 성능에 어떤 영항을 끼치는 지에 대한 의문점이 생겨서 이에 대해 학습하게 되었습니다.모델은 결정트리 한가지 모델만 사용하였고, 피처 엔지니어링에 따른 변화를 확인하는 데에 중점을 두었습니다.나아가 트리모델에서의 피처 중요도를 확인하고, 시각화하는 과정을 중심으로 봐주시면 ..
numpy 정수형 데이터의 처리방식으로 인한 오류 학습 내용python에서의 정수형 데이터 처리 방식을 이해한다numpy의 정수형 데이터 처리방식을 이해한다 (C언어) 들어가며p 값의 변화에 따른 norm 값의 변화를 직접 확인해보고자 아래 코드를 실행시키다 보니 19부터 numpy 패키지를 통해 계산한 값과 직접 하드코딩으로 계산한 값의 차이가 나타나기 시작했다. 이에 대한 힌트를 찾기 위해 numpy github를 찾아봤다.- np.linalg.norm(x, ord=p)의 처리방식을 비교하여 이 문제를 해결할 수 있었다.https://github.com/numpy/numpy/blob/d35cd07ea997f033b2d89d349734c61f5de54b0d/numpy/linalg/linalg.py#L2536위 데이터는 정수형으로 저장되어 있어서 Pyt..
다양한 평균 측정 방식에 대한 이해 - 산술, 조화, 기하평균 학습 내용다양한 평균 측정 방식에 대해 정리해 보고자 한다상황에 따라 어떤 평균 값을 사용해야 하는지 이해해보자 들어가며- 평가지표로 많이 쓰는 F1 score에 대해 학습하다가 조화평균을 어떨 때 쓰는지 이해해보고 싶어서 정리해보게 되었다. 1. 산술평균 (Arithmetic Mean)수식산술평균은 가장 일반적인 평균 계산 방식이다.$ n $개의 데이터 $ x_1, x_2, \ldots, x_n $에 대해 산술평균 $\bar{x}$는 다음과 같이 계산된다. $$ \bar{x} = \frac{1}{n} \sum_{i=1}^{n} x_i $$예시테스트 점수: 학생들의 시험 점수를 평균 내어 전체 성적의 경향을 파악하고자 할 때.연봉: 조직의 연봉 데이터에서 평균 연봉을 파악할 때.일반적인 산출물: 매출액,..
반응형

티스토리툴바