2030 BigDATA

Classification[분류] 데이터가 어떤 그룹에 속하는지 범주로 분류하여 예측하는데 사용하는 기법 특정 등급으로 나눈다는 점에서 군집[Clustering] 분석과 유사 → 하지만 분류 분석은 각 그룹이 정의되어 있음 → 데이터를 구분할 수 있는 기준을 제공 반응변수(y)가 범주형이어야 함 Superised Learning에 해당하는 예측 기법 # 분류분석 VS 예측분석 더보기 공통점 레코드의 특정 속성의 값을 미리 알아맞힌다. 차이점 분류 : 레코드(튜플)의 범주형 속성의 값을 알아맞히는 것 예측 : 레코드(튜플)의 연속형 속성의 값을 알아맞히는 것 ※ 예측분석은 시계열 분석처럼 시간에 따른 값 두개만을 이용해 앞으로의 매출, 온도 등을 예측하는 것 여러 개의 다양한 설명변수(독립변수)가 아닌, ..

Python 2021. 2. 2. 07:07

Scikit-learn[사이킷런] 파이썬 기반의 머신러닝을 위한 다양한 알고리즘을 가지는 대표적인 파이썬 ML 라이브러리 가장 쉽고 효율적인 라이브러리로 개발을 위한 편리한 프레임워크와 API를 제공 최근에는 Tensorflow, Keras 등 딥러닝 전문 라이브러리가 더 주목받고 있음 Anaconda 설치시 기본으로 scikit-learn이 설치되므로 별도의 설치가 필요없음 scikit-learn을 제거했을 경우 !pip install이나 conda 명령어를 이용해 재설치

Python 2021. 2. 1. 07:07

데이터 제거 컬럼 제거 데이터프레임명.drop(columns='제거할 컬러명', inplace=True) 데이터프레임명.drop('제거할 컬러명', axis=1, inplace=True) columns를 통해 제거하고 싶은 컬럼 지정 axis=1을 지정하면 칼럼 삭제 → axis =0을 지정하면 행(row) 삭제 inplace=True를 통해 변경된 내용을 데이터 프레임에 저장 행 제거 데이터프레임명.drop(데이터프레임명[ 조건 ].index, inplace=True) 데이터프레임명.drop(제거할 인덱스명, axis=0, inplace=True) 해당 데이터프레임명에서 조건을 만족하는 행들만 제거 → ex> titanic.drop(titanic[titanic['survived']==0].index, ..

Python 2021. 1. 9. 07:07

인덱스 지정 만약 데이터를 불러올 때 'index_col'을 통해 지정하지 않았거나 데이터 가공 도중 임의의 인덱스(0,1,2, ... )로 지정되었을 경우 다시 인덱스를 지정할 필요가 있음 데이터를 로딩할 때 인덱스 지정 데이터를 로딩할 때 'index_col' 인자를 사용하여 인덱스가 될 column을 지정 0 : 첫번째 컬럼의 데이터들이 인덱스로 지정됨 1 : 두번째 컬럼의 데이터들이 인덱스로 지정됨 ex> df=pd.read_excel('titanic.xlsx', index_col=0) .set_index('컬럼명') 데이터프레밍명.set_index('인덱스로 지정할 컬럼명') ex> titanic.set_index('age') 데이터프레임의 인덱스를 영구적으로 변경할 때는 'inplace=Tru..

Python 2021. 1. 8. 07:07

null값 확인 데이터프레임의 null값의 개수를 확인할때는 isnull().sum()나 isna().sum()을 사용하여 확인 null값 대체 null값을 평균값, 0 등으로 처리할때는 fillna(0, inplace=True)을 사용하여 대체 특정컬럼의 결측치값만 대체하고 싶을 때는 데이터프레임['특정 컬럼명'].fillna(0, inplace=True)를 사용 ex> titanic['age'].fillna(0, inplace=True) ex> titanic['age'].fillna(int(titanic['age'].mean()), inplace=True) null값 제거 null값을 제거할 때는 dropna(subset=["특정컬럼명'], inplace=True)을 사용하여 제거 특정컬럼의 결측치 ..

Python 2021. 1. 7. 07:07

DataFrame 조회 head, tail 등을 이용한 데이터 조회 뿐만 아니라 Column의 type, Null 데이터 개수, 최소, 최댓값 등을 확인 가능 info( ) 전체 데이터 개수, Null 건수, 컬럼들의 데이터 타입들을 알 수 있음 describe( ) 숫자형(int, float 등)컬럼만을 조회 자동으로 object타입 컬럼은 출력에서 제외시킴 dtypes 데이터프레임 내의 각 컬럼들의 데이터 type들을 알려줌 quantile( ) 데이터들 중 백분위수에 해당하는 데이터를 조회 생략할 경우 50%값을 조회 quantile( )괄호안에 원하는 백분위수를 입력 ex> quantile(0.25) max( ) 데이터들 중 최댓값 데이터를 추출 quantile(100)과 동일 median( ) ..

Python 2021. 1. 6. 07:07

DataFrame 정렬 값 정렬 데이터프레임명.sort_values(by=['컬럼명'], ascending=False, inplace=True) 데이터프레임을 by로 지정한 컬럼명으로 정렬 오름차순 정렬시는 생략 가능 내림차순 정렬시는 ascending=False 사용 정렬 내용을 데이터프레임에 저장하고 싶을 때는 inplace=True를 사용 # Tuple & List 정렬 더보기 Tuple 정렬 sorted(tuple, key) List 정렬 list.sort( ) sorted(list) 인덱스 정렬 데이터프레임명.sort_index(ascending=False, inplace=True) 지정한 데이터프레임의 인덱스를 정렬 오름차순 정렬시는 생략 가능 내림차순 정렬시는 ascending=False 사..

Python 2021. 1. 5. 07:07

Oracle 데이터와 연동 ※ 사용자마다 다를 수 있는 부분들은 별도의 색으로 표기했습니다. ※ 변수명은 본인이 사용하기 편한 변수명을 사용하시면 됩니다. 모듈 import import pandas as pd from pandas import DataFrame import cx_Oracle cx_Oracle이 설치가 안되어 있는 경우 → !pip install cx_Oracle Oracle과 Python(Pandas) 연동 dsn = cx_Oracle.makedsn('localhost',1521,'xe') conn = cx_Oracle.connect('local-hr','hr',dsn) cx_Oracle.makedsn('host',port,'sid')의 형식으로 입력 → oracle에서 가져오고 싶은 D..

Python 2021. 1. 4. 07:07