캐글(Kaggle) 자전거 수요 예측 -1

데이터 다운로드 아래 링크에 데이터셋을 다운로드할 수 있습니다. Bike Sharing Demand Forecast use of a city bikeshare system www.kaggle.com 데이터 분석 데이터를 확인합니다. Train data 는 10886 개의 행, 12 개의 컬럼을 가지고 있고, Test data 는 6493 개의 행, 9 개의 컬럼을 가지고 있습니다. 결측 데이터는 없습니다. 결측치를 시각화해주는 missingno 모듈을 사용 출/퇴근 시간대의 따라 자전거 수요량을 비교해 보기위해 datetime 컬럼을 나누어 봅니다. train['year'] = train['datetime'].dt.year train['month'] = train['datetime'].dt.month t..
AI/ML 2020. 8. 23. 01:05

캐글(Kaggle) 타이타닉 생존자 예측하기 -3

Classifier 지난 포스팅까지 전처리가 완료된 Train data 를 가지고 사이킷런에서 제공하는 Classifier 를 Train 시키고, Test data 를 예측하는 것을 해볼 것입니다. kNN : 최근접 이웃 라벨이 있는 데이터 속에서 라벨이 없는 데이터를 분류하며, 가까운 거리에 있는 k개의 이웃을 보고 빈도가 높은 것을 통해 분류합니다. Validation 은 Train data 의 일부를 모델의 성능을 평가하기 위해서 사용합니다. K-fold Cross Validation 은 Train data 를 k 로 나누고 각 라운드마다 나눈 Train data 를 한 번씩 Validation set 으로 사용하여 편견이 없는 Validation 결과가 나오게 됩니다. from sklearn.ne..
AI/ML 2020. 8. 22. 08:08

캐글(Kaggle) 타이타닉 생존자 예측하기 -2

Feature engineering Feature 는 측량된 값, Column 을 말합니다. Feature engineering 이란 데이터 컬럼을 생성하거나 선택하는 작업, 주어진 초기 데이터로부터 특징을 가공하고 생성하는 전체 과정을 의미합니다. 거의 모든 머신러닝 Classifier 는 숫자 데이터를 사용하기 때문에 Feature engineering 을 통해 텍스트 데이터는 숫자 데이터로 만들어 Feature Vector 로 구성해주고, 결측 데이터(NaN)도 알맞은 값으로 넣어주는 작업을 해보겠습니다. Name 컬럼을 보면 호칭 정보가 있습니다. Ms 성인 여성, Miss 미혼 여성, Mrs 기혼 여성, Mr 남성 등 이러한 정보를 Title 컬럼으로 빼내고 맵핑을 해주었습니다. train_te..
AI/ML 2020. 8. 22. 06:54

캐글(Kaggle) 타이타닉 생존자 예측하기 -1

데이터 다운로드 아래 링크에 들어가시면 데이터셋을 다운로드할 수 있습니다. Titanic: Machine Learning from Disaster Start here! Predict survival on the Titanic and get familiar with ML basics www.kaggle.com 데이터 분석 데이터를 확인해봅니다. 훈련 데이터는 테스트 데이터보다 Survived(생사) 컬럼이 하나 더 많습니다. 결측 데이터 확인 Bar 그래프를 그리는 함수를 작성하고 생사에 영향을 미치는 컬럼을 확인합니다. import matplotlib.pyplot as plt %matplotlib inline import seaborn as sns sns.set() def bar_chart(feature..
AI/ML 2020. 8. 22. 05:08

윈도우 MeCab 설치 / 사용자 사전 추가

mecab-ko-msvc 설치 아래 링크에서 다운로드합니다. Release release-0.9.2-msvc-3 · Pusnow/mecab-ko-msvc Fix: -r 옵션을 지정해 주지 않았을 때 레지스트리에서 이상한 값을 가져와 오류가 나는 문제 해결 github.com 요즘 대부분 운영체제가 x64 입니다. C:\mecab 폴더에 압축을 해제하는 것을 권장하고 있습니다. mecab-ko-dic-msvc 설치 아래 링크에서 다운로드합니다. Release mecab-ko-dic-2.1.1-20180720-msvc-2 · Pusnow/mecab-ko-dic-msvc 코스트 반영을 위한 compile-win.ps1 추가 github.com 사전도 C:\mecab에 압축을 풀어줍니다. 테스트 (base) P..
AI 2020. 7. 29. 17:46