agent rl 레포 하나를 뜯어보다가 데이터가 저장 방식이 parquet으로 저장된 것을 보았습니다.parquet 정의, 장점, 파일 구조 까지... Parquet: 데이터 저장방식 중 하나로 column 단위로 데이터가 저장이 되어서 필요한 컬럼만 빠르게 읽고 집계하는데 빠르다 테이블이 아래와 같이 있다면,,행기반은열기반은요렇게 되어있다는거죠. column이 열이니까 그래서 장점은 요렇습니다. 장점column 단위로 구성하면 데이터가 더 균일하므로 압축률이 높아짐디스크 I/O 감소. column 단위로 데이터가 저장되어 다른 컬럼의 데이터에서는 I/O 발생 x컬럼의 데이터 유형에 따라 적절한 인코딩 방식 사용 가능 파일구조포맷은 아래와 같은데요. N column M row 그룹의 테이블을 예시로 한 ..
