Database/Mysql
[sqlite] 대용량 dataframe을 다루기 위한 시간 단축하기
대용량 데이터 프레임을 다루기 위한 시간 단축하기 대용량의 df를 여러 번 읽어야 할 경우, 단순 loc 등으로 검색하는 것이 아닌 이를 db로 구현하여 index를 이용한 select가 훨씬 빠르다. 이 때 db로 사용할 sqlite에 대한 내용은 아래 포스트를 참고하길 바란다. > db를 생성할 땐 두가지 방법이 있다. db connect 할 때 쓰이는 코드인데 연결하고자 하는 db가 없을 경우 새로 생성해준다. from sqlalchmey import create_engine import sqlite3 example = create_engine('sqlite:///db파일명.db') example = sqlite3.connect('db파일명.db') csv의 용량이 너무 크면 memory error..
