2030 BigDATA

인덱스 지정 만약 데이터를 불러올 때 'index_col'을 통해 지정하지 않았거나 데이터 가공 도중 임의의 인덱스(0,1,2, ... )로 지정되었을 경우 다시 인덱스를 지정할 필요가 있음 데이터를 로딩할 때 인덱스 지정 데이터를 로딩할 때 'index_col' 인자를 사용하여 인덱스가 될 column을 지정 0 : 첫번째 컬럼의 데이터들이 인덱스로 지정됨 1 : 두번째 컬럼의 데이터들이 인덱스로 지정됨 ex> df=pd.read_excel('titanic.xlsx', index_col=0) .set_index('컬럼명') 데이터프레밍명.set_index('인덱스로 지정할 컬럼명') ex> titanic.set_index('age') 데이터프레임의 인덱스를 영구적으로 변경할 때는 'inplace=Tru..

Python 2021. 1. 8. 07:07

null값 확인 데이터프레임의 null값의 개수를 확인할때는 isnull().sum()나 isna().sum()을 사용하여 확인 null값 대체 null값을 평균값, 0 등으로 처리할때는 fillna(0, inplace=True)을 사용하여 대체 특정컬럼의 결측치값만 대체하고 싶을 때는 데이터프레임['특정 컬럼명'].fillna(0, inplace=True)를 사용 ex> titanic['age'].fillna(0, inplace=True) ex> titanic['age'].fillna(int(titanic['age'].mean()), inplace=True) null값 제거 null값을 제거할 때는 dropna(subset=["특정컬럼명'], inplace=True)을 사용하여 제거 특정컬럼의 결측치 ..

Python 2021. 1. 7. 07:07

DataFrame 조회 head, tail 등을 이용한 데이터 조회 뿐만 아니라 Column의 type, Null 데이터 개수, 최소, 최댓값 등을 확인 가능 info( ) 전체 데이터 개수, Null 건수, 컬럼들의 데이터 타입들을 알 수 있음 describe( ) 숫자형(int, float 등)컬럼만을 조회 자동으로 object타입 컬럼은 출력에서 제외시킴 dtypes 데이터프레임 내의 각 컬럼들의 데이터 type들을 알려줌 quantile( ) 데이터들 중 백분위수에 해당하는 데이터를 조회 생략할 경우 50%값을 조회 quantile( )괄호안에 원하는 백분위수를 입력 ex> quantile(0.25) max( ) 데이터들 중 최댓값 데이터를 추출 quantile(100)과 동일 median( ) ..

Python 2021. 1. 6. 07:07

DataFrame 정렬 값 정렬 데이터프레임명.sort_values(by=['컬럼명'], ascending=False, inplace=True) 데이터프레임을 by로 지정한 컬럼명으로 정렬 오름차순 정렬시는 생략 가능 내림차순 정렬시는 ascending=False 사용 정렬 내용을 데이터프레임에 저장하고 싶을 때는 inplace=True를 사용 # Tuple & List 정렬 더보기 Tuple 정렬 sorted(tuple, key) List 정렬 list.sort( ) sorted(list) 인덱스 정렬 데이터프레임명.sort_index(ascending=False, inplace=True) 지정한 데이터프레임의 인덱스를 정렬 오름차순 정렬시는 생략 가능 내림차순 정렬시는 ascending=False 사..

Python 2021. 1. 5. 07:07

Oracle 데이터와 연동 ※ 사용자마다 다를 수 있는 부분들은 별도의 색으로 표기했습니다. ※ 변수명은 본인이 사용하기 편한 변수명을 사용하시면 됩니다. 모듈 import import pandas as pd from pandas import DataFrame import cx_Oracle cx_Oracle이 설치가 안되어 있는 경우 → !pip install cx_Oracle Oracle과 Python(Pandas) 연동 dsn = cx_Oracle.makedsn('localhost',1521,'xe') conn = cx_Oracle.connect('local-hr','hr',dsn) cx_Oracle.makedsn('host',port,'sid')의 형식으로 입력 → oracle에서 가져오고 싶은 D..

Python 2021. 1. 4. 07:07

DataFrame 여러 개의 행과 열로 이루어진 2차원 데이터 구조 판다스에서 데이터를 가져올때는 read_csv( ), read_excel( ), read_table( ), read_fwf( ) 등을 사용 데이터 가져오기 import pandas as pd df = pd.read_csv('파일명.csv', sep='\t', header =1, index_col=0, encoding = 'euc-kr', thousands=',') 파일명 해당 csv파일과 판다스로 작업할 파일이 함께 있는 경우 파일명만 입력 다른 파일에 있는 경우에는 파일 경로를 함께 지정해주어야 함 seq 구분 문자를 입력하면됨(생략할 경우, 자동으로 콤마로 할당) 위의 예에서는 탭으로 필드를 구분하겠다는 뜻! header 컬럼명의 위..

Python 2021. 1. 3. 07:07

DataFrame 만들기 파이썬 리스트 pd.DataFrame(리스트명, columns=['지정할 컬럼명']) 파이썬 딕셔너리 pd.DataFrame(딕셔너리명) 넘파이 ndarray pd.DataFrame(ndarray명, columns=['지정할 컬럼명']) DataFrame을 변환하기 넘파이 ndarray 데이터프레임명.values 파이썬 리스트 데이터프레임명.values.tolist() 파이썬 딕셔너리 데이터프레임명.to_dict()

Python 2021. 1. 2. 07:07

Pandas[판다스] 월스트리트 금융회사의 분석 전문가인 웨스 매키니가 개발한 데이터 분석 라이브러리 현재 파이썬에서 데이터 처리를 위해 존재하는 가장 인기 있는 라이브러리 넘파이 기반으로 작성된 판다스는 넘파이보다 훨씬 유연하고 편리하게 데이터 핸들링 가능 pandas는 시계열성 데이터를 많이 다루는 금융 데이터를 분석하기 위해 만들어짐 판다스는 파이썬의 리스트, 컬렉션, 넘파이 등의 내부 데이터 뿐만 아니라 CSV 등을 쉽게 DataFrame으로 변경 가능 판다스는 행과 열로 구성된 2차원의 데이터를 효율적으로 가공/처리할 수 있는 다양한 기능들을 제공 # Series VS DataFrame 더보기 Series와 DataFrame 모두 Index를 key값으로 가짐 ※ Index : 개별 데이터들을 ..

Python 2021. 1. 1. 07:07