memory 썸네일형 리스트형 [hdf5] 대용량 데이터 처리 h5py + HDF5Mtrix data generator library csv 파일로 처리하다가 어쩌구 >> 메모리 부족으로 생기는 오류 같아요.. >> 대용량 데이터를 처리하는 방법에 대해 알아봅시다! >> hdf5 1. tensorflow version 2. Import import h5py from tensorflow.keras.utils import HDF5Matrix 3. Create h5py data data = pd.read_csv('data') # 구조 생성시 데이터 불러와 넣어주는 작업 필요 # 데이터 나눠서 부르고 인덱스로 구분지어 입력 가능 f = h5py.File('path', 'w') """ 데이터 저장 위한 구조 생성 keyword: 데이터 구조 접근 | data size: ro.. 더보기 이전 1 다음
