2030 BigDATA

DataFrame 여러 개의 행과 열로 이루어진 2차원 데이터 구조 판다스에서 데이터를 가져올때는 read_csv( ), read_excel( ), read_table( ), read_fwf( ) 등을 사용 데이터 가져오기 import pandas as pd df = pd.read_csv('파일명.csv', sep='\t', header =1, index_col=0, encoding = 'euc-kr', thousands=',') 파일명 해당 csv파일과 판다스로 작업할 파일이 함께 있는 경우 파일명만 입력 다른 파일에 있는 경우에는 파일 경로를 함께 지정해주어야 함 seq 구분 문자를 입력하면됨(생략할 경우, 자동으로 콤마로 할당) 위의 예에서는 탭으로 필드를 구분하겠다는 뜻! header 컬럼명의 위..

Python 2021. 1. 3. 07:07

옵티마이저[Optimizer] SQL의 실행 계획을 수립하고 SQL을 실행하는 DBMS 소프트웨어 사용자가 질의한 SQL문에 대해 최적의 실행 방법을 결정하는 역할 수행 → 동일한 결과가 나오더라도 SQL을 어떻게 실행하느냐에 따라 성능이 달라짐 → 옵티마이저 실행 계획은 SQL성능에 중요한 역할을 함 최적의 실행 방법을 결정하는 방식에 따라 규칙기반 옵티마이저와 비용기반 옵티마이저로 나뉨 규칙 기반 옵티마이저[RBO, Rule Based Optimizer] 규칙(우선순위)를 가지고 실행계획을 생성하는 옵티마이저 실행계획을 생성하는 규칙을 이해하면 누구나 실행계획을 비교적 쉽게 예측 가능 규칙에 따라 우선순위를 정한 뒤, 이를 기반으로 실행계획을 생성 비용 기반 옵티마이저[CBO, Cost Based O..

자격증/SQLD 2021. 1. 3. 07:07

DataFrame 만들기 파이썬 리스트 pd.DataFrame(리스트명, columns=['지정할 컬럼명']) 파이썬 딕셔너리 pd.DataFrame(딕셔너리명) 넘파이 ndarray pd.DataFrame(ndarray명, columns=['지정할 컬럼명']) DataFrame을 변환하기 넘파이 ndarray 데이터프레임명.values 파이썬 리스트 데이터프레임명.values.tolist() 파이썬 딕셔너리 데이터프레임명.to_dict()

Python 2021. 1. 2. 07:07

저장 모듈[Stored Module] SQL문을 데이터베이스 서버에 저장해 사용자와 애플리케이션 사이에 공유할 수 있도록 만든 SQL 컴포넌트 프로그램 독립적으로 실행되거나 다른 프로그램으로부터 실행될 수 있는 완전한 실행 프로그램 오라클의 저장모듈에는 Procedure, User Defined Function, Trigger가 있음 프로시저 & 트리거 프로시저[Procedure] 트리거[Trigger] CREATE PROCEDURE 문법 사용 CREATE TRIGGER 문법 사용 생성 시, 소스코드와 실행코드가 생성됨 생성 시, 소스코드와 실행코드가 생성됨 EXECUTE 명령어로 실행 생성 후 자동으로 실행 COMMIT, ROLLBACK 실행 가능[TCL문 사용 가능] COMMIT, ROLLBACK 실..

자격증/SQLD 2021. 1. 2. 07:07

Pandas[판다스] 월스트리트 금융회사의 분석 전문가인 웨스 매키니가 개발한 데이터 분석 라이브러리 현재 파이썬에서 데이터 처리를 위해 존재하는 가장 인기 있는 라이브러리 넘파이 기반으로 작성된 판다스는 넘파이보다 훨씬 유연하고 편리하게 데이터 핸들링 가능 pandas는 시계열성 데이터를 많이 다루는 금융 데이터를 분석하기 위해 만들어짐 판다스는 파이썬의 리스트, 컬렉션, 넘파이 등의 내부 데이터 뿐만 아니라 CSV 등을 쉽게 DataFrame으로 변경 가능 판다스는 행과 열로 구성된 2차원의 데이터를 효율적으로 가공/처리할 수 있는 다양한 기능들을 제공 # Series VS DataFrame 더보기 Series와 DataFrame 모두 Index를 key값으로 가짐 ※ Index : 개별 데이터들을 ..

Python 2021. 1. 1. 07:07

절차형 SQL SQL문의 연속적인 실행이나 조건에 따른 분기처리를 이용해 특정 기능을 수행하는 저장 모듈을 생성ㅇ할 수 있도록 하는 SQL ORACLE은 PL/SQL DB2는 SQL/PL SQL Server는 T-SQL PL/SQL[Procedural Language] Oracle에서 만든 절차적 프로그래밍이 가능한 트랜잭션 언어 Block내에 DML문, QUERY문, 절차형언어(IF,LOOP) 등을 사용 가능 변수와 상수 등을 사용해 일반 SQL문을 실행할 때 WHERE절의 조건 등으로 대입 가능 Procedure, User Ddfined Function, Trigger 객체를 PL/SQL로 작성 가능 PL/SQL로 작성된 Procedure, User Defined Function은 작성자가 트랜잭션 ..

자격증/SQLD 2021. 1. 1. 07:07

서브쿼리[Subquery] 하나의 SQL문 안에 포함되어 있는 SQL문 서브쿼리는 괄호 안에 작성 SELECT절, FROM절, HAVING절, ORDER BY절 등에서 사용 가능 SQL의 어느부분에 서브쿼리를 사용하느냐에 따라 인라인뷰, 스칼라 서브쿼리 등으로 나뉨 → 인라인뷰 : FROM절에 SELECT문 서브쿼리 사용 → 스칼라 서브쿼리 : SELECT문에 서브쿼리 사용[반드시 한 행과 한 칼럼만을 반환] ※ 일반적으로 WHERE절에 SELECT문을 사용하는 것을 서브쿼리라고 함 동작하는 방식에 따라 연관[Correlated] 서브쿼리와 비연관[Un-Correlated] 서브쿼리로 나뉨 → 연관 서브쿼리 : 서브쿼리 내에 메인 쿼리 칼럼을 사용하는 것 (일반적으로 메인쿼리가 먼저 수행되어 읽혀진 데이..

자격증/SQLD 2020. 12. 31. 07:07

계층형 질의[Hierarchical Query] 계층형 데이터는 동일 테이블의 데이터가 계층적으로 상위와 하위 데이터로 나뉘게 되는 데이터 엔터티를 순환관계 모델로 설계할 경우, 계층형 데이터가 발생 ORACLE 계층형 질의 SELECT ...... FROM 테이블 WHERE 조건1 and 조건2... START WITH 조건 CONNECT BY[NOCYCLE] 조건1 AND 조건2... [ORDER SIBLINGS BY 칼럼명1, 칼럼명2 ... where절은 모든 전개를 진행한 이후 필터조건으로서 조건을 만족하는 데이터만을 추출하는데 활용 START WITH구는 계층형 구조에서 처음 탐색을 시작하는 것을 의미 → 루트 데이터를 지정 CONNECT BY절은 다음에 전개될 자식 데이터를 지정하는 구문 →..

자격증/SQLD 2020. 12. 30. 07:07