본문 바로가기

전체 글

Time Series Data > Machine Learning 더보기 [과정 이해하기] 1. Merge FRT와 Motion data의 시간 동기화 > 병합 > 하나의 보행 데이터 파일 생성 merge_Files_in_Folders(DIR_Src = Dataset/2022_11_10) ┗ create a folder for the merged files 원래 폴더명에 _M을 붙어서 새로운 폴더를 만들어 list of devices = [shadow, hs_server] 2. Labelling 보행 데이터의 정보 이용해 마지막 col 에 'TAG' 부여 label_config > shadowdata | smartinsoldata 3. FeatureSelection 'feature_config_xlsx' 이용해 라벨링된 데이터로부터 특징 재정렬 > 데이터 파일로 저장 .. 더보기
[hdf5] 대용량 데이터 처리 h5py + HDF5Mtrix data generator library csv 파일로 처리하다가 어쩌구 >> 메모리 부족으로 생기는 오류 같아요.. >> 대용량 데이터를 처리하는 방법에 대해 알아봅시다! >> hdf5 1. tensorflow version 2. Import import h5py from tensorflow.keras.utils import HDF5Matrix 3. Create h5py data data = pd.read_csv('data') # 구조 생성시 데이터 불러와 넣어주는 작업 필요 # 데이터 나눠서 부르고 인덱스로 구분지어 입력 가능 f = h5py.File('path', 'w') """ 데이터 저장 위한 구조 생성 keyword: 데이터 구조 접근 | data size: ro.. 더보기
ORDER MATTERS: SEQUENCE TO SEQUENCE FOR SETS 논문: ORDER MATTERS: SEQUEN CE TO SEQUENCE FOR SETS Oriol Vinyals, SAmy Bengio, Manjunath Kudlur 1. 입/출력 데이터의 순서가 모델을 학습할 때 중요한 역할 2. 입력 집합을 처리하는 seq2seq framework 확장 3. propose loss: searching over possible orders during training 훈련 중 가능한 순서 탐색 1. [Order matters] No natural order is known among input | output objects -> still be one that yields better performace 입/출력 간의 순서가 없을 때에도 성능 개선할 수 있는 순서가.. 더보기
[공유 세미나] 2023 상반기 학회 CVPR - Detecting Everything in the open World: Towards universal object detection Everything | Open World | Universal image + text 공간의 alignment > multiple sources & heterogeneous label space image Open World └ Unseen classes: Open-vocabulary object detection └ Various domains: Object detection in the Wild AAAI - SWL -Adapt: An unsupervised domain adaptation model with sample weight learning for.. 더보기
[미해결] [Unreal] Motion Capture Data | Visualizing with UE5 Matching Bones: Model data and Character 센서에서 얻은 데이터 이름과 unreal 캐릭터의 bone matching udp 서버에서 데이터프레임 만들어 unreal 형식에 맞춰서 전송 UDP Message Printing CONNECT : 'UDPRecivedEvent' -> 'Print String' node 'Printing String' node ➝ screen/console 출력 option 선택 가능 ☑ return value 20 ➝ 22 (add shoulder skeleton) 센서 shoulder == 캐릭터 clavicle 로 조정했는데 잘 모르겠음 (수정) ☑ sensor = { name , oriientation { roll, ptich, yaw } .. 더보기
[Python] configparser 개발 환경이나 사용자에 따른 설정 파일 만들기 1. configparser > create config file import configparser # config file config = configparser.ConfigParser() # create config file object config['system'] = {} config['system']['title'] = 'Neural Networks' config['system']['version'] = '0.0.1' config 파일 생성 > config['object name'] = {} 으로 섹션 생성 데이터 값은 문자열로만 저장 > 읽고 쓰는 과정에서 전처리 필요 2. config 파일 저장 후 읽기 # save with open('conf.. 더보기
Attention Is All You Need 논문: Attention Is All You Need Attention RNN ➝ LSTM ➝ Seq2Seq ➝ Attention ➝ Transformer ➝ ... ☑ 기존 Sequence model의 문제점 ┕ RNN의 sequential 특징: 입/출력 sequence token(symbol) 위치 따라 연산 이전 step h(t-1)과 현재 입력 t로 h(t) 시퀀스 생성 ➔ parellelization 불가능, 메모리 제약.. ┕ 시퀀스 길이가 길어질수록 병렬화 중요해 ┕ 입력 문장을 하나의 context vector c로 압축 ➔ bottle neck 원인 ┕ RNN cell에서 참고하도록 만들어 성능 개선 가능 ➔ 문장이 길어져도 손실 정도 줄일 수 있지만, 여전히 병목 현상 문제.. ┕ 출.. 더보기
[Python] 실행파일(.exe) 만들기 | pyinstaller ❍ pyinstaller 파이썬 코드를 실행 파일 형태로 패키징하여 사용자가 별도의 python interpreter 없이 해당 프로그램 실행할 수 있도록한다. pip 통해 설치 pip install pyinstaller - pyinstaller 사용하기 위해 프로그램에 필요한 라이브러리와 종속성 설치 필요 - pip로 설치할 경우, 일부 패키지 누락 가능 > 수동으로 패키지 설치 필요 (pathlib 모듈이 설치된 경우, pyinstaller 가 설치되지 않거나 실행되지 않음 > 새로운 가상환경 만들어 pyinstaller 환경 설정) ❍ .py > .exe 해당 경로로 이동 후 명령어 수행 pyinstaller [File].py ┖ build ┖ dist ┖ main.spec 실행 파일은 dist 폴.. 더보기