multi index 피하기 groupby를 쓰면 기본적으로 멀티인덱스가 생성된다. 이 멀티인덱스가 groupby한 후의 전처리를 방해하므로 추후 작업이 남아있다면 멀티인덱스를 생성하는 파라미터를 False로 지정해주는 게 좋다. 예시 코드 'as_index = False' 라는 파라미터를 추가해주자.
특정 문자열 포함하는 행 제거하기 전처리를 하다보면 특정 문자열을 포함하는 행 전체를 제거할 일이 많다. 문자열 관련 전처리는 dataframe.str 으로 대부분 해결 되는데 오늘은 str.contains 를 이용해보자. str.contains 사용하기 dfresult = df[~df['Time'].str.contains("2021-03-01", na=False, case=False)] "2021-03-01"
여러 시트 한 번에 읽기 pandas로 excel을 읽을 경우, read_excel 이라는 함수를 쓰게 된다. 만약 백만행이 넘어가 sheet1, sheet2, ... 까지 쓰여있다면 어떻게 해야 할까? 우리가 흔히 쓰는 것 처럼 pd.read_excel()를 쓴다면 sheet1에 있는 데이터만 읽어진다. 따라서 read_excel함수의 파라미터 중 sheet_name = None 을 추가해주면 모든 시트를 읽을 수 있다. 그러나 sheet_name = None 의 원리는 key: sheet1, value: 모든 데이터와 같아서 데이터 프레임으로써 쓸 수 없기 때문에 concat으로 한번 더 묶어줘야 한다. 예제 코드 df = pd.concat([value.assign(sheet_source=key) f..
pymysql을 이용하여 db 연동하기 python에서 mysql 데이터베이스를 사용하기 위해 우선 python DB API 표준을 따르는 MySQL DB 모듈을 다운 받아 설치하다. MySQL DB 를 지원하는 Python 모듈은 여러 가지가 있는데, 여기서 pymysql 이라는 모듈을 사용해 본다. 참고로, 다른 MySQL 모듈을 사용하더라도 동일한 API를 사용하게 된다. 1. pymysql 설치하기 먼저, pymysql 라이브러리를 설치해줘야 한다. pip을 이용하여 간단하게 설치해주자. python3 -m pip install PyMySQL 2. db 연결하기 pymysql에 connect라는 함수를 이용하여 db 서버에 연결 할 수 있다. 1) PyMySql 모듈을 import 한다. 2) p..
열이 아닌 행끼리 계산하기 보통 dataframe의 계산을 다룰 땐 열끼리 지지고 볶고 하는 게 다반사인데.. 이번엔 열이 아닌 행과 행의 연산이 필요했다. 시간에 따른 여러 검사의 수치값이 있었고, 이를 시간마다 값의 차이를 알아내야 하는 게 이번 미션이였다. 흠흠.. 다들 행끼리는 계산을 안 하는 건지 검색을 잘 못한 건지 아무리 검색해도 안 나오더라 ㅜㅇㅜ 구글링 실력도 실력이란 걸 다시 한번 깨닫고.. 전치를 시켜야 하나 고민하던 중 내가 원하는 결괏값을 도출할 수 있는 함수를 찾았다. diff 함수 result[['delta_aaa', 'delta_bbb', 'delta_ccc', 'delta_ddd']] = result[['aaa', 'bbb', 'ccc', 'ddd']].diff() 생각보다..
가장 가까운 날짜/시간 찾기 코딩을 하다 보면 시간에 대해서 많이 다루게 되는데 이 시간 데이터를 연산이나 비교 등을 할 때가 많다. 그 중에서도 이번에는 가장 근접한 시간을 찾아야 하는데 아이디어가 떠오르지 않아 처음에는 많이 헤맸다. 가장 근접한 수 찾는 함수 먼저, 가장 근접한 수를 찾는 함수를 만들었다. def find_nearest(array, value): array = np.asarray(array) idx = (np.abs(array - value)).argmin() return array[idx] array에 시간 리스트를 넣고 value에 가장 근접했으면 하는 시간을 넣으면 근접한 시간이 return 될 줄 알았으나,, 시간 데이터는 절댓값을 쓸 수 없어 또 한 번 난관이 닥쳤다. 그래..
