# os 모듈 불러오기 import os # 현재 working directory 가져오기 os.getcwd() # working directory 변경 os.chdir(path) # directory 목록 확인 os.listdir() # directory scan os.scandir() 여기서 os란? operating system을 의미
errorbar(오차막대)란, 데이터의 편차를 표시하기 위한 그래프 형태를 말한다. errorbar를 그리기 위해서는 데이터의 편차를 나타내는 yerr가 추가로 있어야 하는데 보통 표준편차로 나타내니 이번 포스팅에서도 표준편차를 기준으로 yerr를 이용하도록 한다. 먼저, 전제는 list가 아닌 dataframe으로 구한다는 점이다. (큰 차이는 없음) 예를 들어 sao2 대비 spo2에 대한 errorbar를 그린다고 하면 각 sao2의 값으로 묶은 spo2의 평균값과 표준편차값이 필요하다. 이는 groupby로 편하게 나타낼 수 있다. spo2_mean = df.groupby('sao2', as_index=Fasle)['spo2'].mean() spo2_std = df.groupby('sao2', a..
대용량 데이터 프레임을 다루기 위한 시간 단축하기 대용량의 df를 여러 번 읽어야 할 경우, 단순 loc 등으로 검색하는 것이 아닌 이를 db로 구현하여 index를 이용한 select가 훨씬 빠르다. 이 때 db로 사용할 sqlite에 대한 내용은 아래 포스트를 참고하길 바란다. > db를 생성할 땐 두가지 방법이 있다. db connect 할 때 쓰이는 코드인데 연결하고자 하는 db가 없을 경우 새로 생성해준다. from sqlalchmey import create_engine import sqlite3 example = create_engine('sqlite:///db파일명.db') example = sqlite3.connect('db파일명.db') csv의 용량이 너무 크면 memory error..
multi gpu 사용하기 모델링 할 때 gpu를 사용하면 속도가 몇만배이상 빨라진다. 그러나 모델이 복잡해지면 복잡해질수록 single gpu가 아닌 multi gpu를 사용하게 되는데 이 때는 약간의 코드만 추가해주면 된다. 예시 코드 * tensorflow 기준 import tensorflow as tf tf.compat.v1.disable_eager_execution() mirrored_strategy = tf.distribute.MirroredStrategy(devices=["/gpu:0", "/gpu:1"]) gpu 0번과 1번을 사용하겠다는 예시이다. 나는 실행시킬 때, $ CUDA_DEVICE_ORDER=PCI_BUS_ID CUDA_VISIBLE_DEVICES=1,2 python3 mode..
