쩡쩡이의 일상

히사시부리 교토

오모짱_ — Fri, 4 Jul 2025 10:27:15 +0900

여름 일본은 지옥인거 알지만 매번 여름 여행중
예전만큼 더위 안타서 나름 괜찮^^

친절한 보리차(?) 슴슴하니 맛있당
동생 픽 = 생콜라 : 한국 들여와주라

냅다 키티부터 입양 때려주기
포차코에서 키티로 갈아타는 중인데
너무 유행이라 좀. . ^^
산리오샵에서 중국인이 키링 털어가는거 봄 ㄷ ㄷ

교토에도 있다니?! 551 호라이 만두 ♥♡♥
고기완자에 왕만두가 먹고싶었다구
내 원픽 고기완자 겨자랑 먹으면 더맛있음 후후
(이제 교자만 먹으면 전메뉴 뿌시기 완료)

의외로 3번이 노상 좋다고 하는게 웃김
어딜가나 좁은 가게에 시끌벅적 분위기가 좀 힘겹긴 해
느즈막히 가모강 바라보며 맥주

스페셜 토핑의 조개 스프 라멘
'조개 스프'가 이름값 했다. 완전 해장용
온천란도 적당하게 짭잘해서 존 맛
그치만 재방문 의사는 없..ㅋ

교토 = 말차
라벨이 맘에들어서 구매한 말차맥주
안주는 말차 죽순 + 초코송이
(혈관에 말차 흐르는 중)

이날 목표는 맛있는 당고 먹기라고 선포했더니
길 지나갈때마다 1번이랑 3번이 당고 안먹? 물어봄ㅋㅋ
(진짜 진짜 맛집을 기다리고 있다구)

노부부가 운영하는 떡집
그냥 지나치려다가 3번이 하나만 먹자고 들려줌ㅎ.ㅎ
감사 감사
떡은 흐물텅 식감인데 말차랑 팥이 개사기 존맛

간식거리도 잔뜩
일본식 치킨 튀김이라는데 MZ 학생들이 많았다
바람잡이가 되었는지 다른 관광객도 줄줄이 사감ㅋㅋ
맛은 그냥 불량한 치킨 너겟? (초코 소스가 있는게 함정)

오니기리.. 는 맛집 프랜차이즈인가
사람도 많고 길거리에 봉지 들고다니는 사람들이 많았다
잘 구운 짭잘한 주먹밥! (밥은 내취향이 아니얌ㅎ)

블루보틀 아아 맛없다
시즌 음료 주문했는데 그나마 괜찮.. 우유 맛집인듯 (꼬숩)
그냥 잔디밭이 좋았다 선선한 바람 + 여유
다들 좋아해서 다행쓰. 비만 안왔으면 잔디에 드러누웠을지도

계획은 규카츠 오픈런이었는데
3번의 '규카츠 안좋아함' 소신 발언
+ 가려던 곳의 리뷰 박살과 이해 못할 가격

옆의 텐동집으로 노선 변경 후
오픈 시간까지 방황하다가
다시 왔는데 한국인 가족이 들어가다 마는거 발견
+ 쎄함 감지

구글 지도 뒤져뒤져
조용한 나만 알고싶어 느낌의 텐동집 발견
인상 굉장히 선한 부부가 운영하는 작은 가게
계속 사람한테 치이다가 편안한 분위기에서 식사 완!

관광지는 오픈런
오르막길 적응 안되서 허벅지 터질거같음
입장전에 다리 박살나기 직전

한바퀴 돌고 내려왔더니 관광객으로 꽉 차버린
비오는 기요미즈데라..ㅋ 빠른 손절
역시 관광지는 오픈런^^

여유롭게 산넨자카 니넨자카 내려가기
오전시간이라 상가는 안열었지만 오히려 예쁨
비오는데 웨딩촬영하는 분들도 있었다
보는 입장에선 예쁜데 당사자 매우 힘들듯ㄷ

교토에는 오코노미야끼 말고 와라이야끼가 있다
계란만 들어간 오코노미야끼?
부들부들한 오믈렛같고 맛있음^^
시오야끼소바도 맛없없! 간장 야끼소바 보다 내취향

간사이 공항 > 교토행 키티 열차
교토가 뭐 키티 본가임? 어딜가나 키티가 반겨줌
교통카드도 키티버전 있다고 했는데 힝구

여름 감성 교토 좋아
여행 내내 비소식 있어서 걱정했는데
날씨 개좋음! 오히려 좋아!

P들의 여행..? 무계획 속의 계획이랄까
냅다 가고싶은 곳 | 구경하고 싶은거 구경하기
매일 기본 2만보 채우면서 돌아다니기 굿

알고보니 여기 내가 보고싶었던 건물ㅋㅎ
폐건물인가 암튼 문화건물로 재건축? 한곳인데 매우 예쁨
도시 한복판에서 들어오면 펼쳐지는 정원 느낌

관광지는 오픈런 22
재방문 아라시야마 대나무 숲
맘에 드는데 포토스팟에 관광객 너무 많음ㅠ ㅠ

나오는 길에 텐류지도 방문
돌 정원 멍때리기를 기대했는데 (별루 별루)
메인 빌딩은 입장료 별개로 또 돈받음 ㄷ
내가 원한건 료안지 느낌이었으

여기 당고 유명하다고 해서..
미타라시 | 호지 | 말차 | 어쩌구 종류 많은데
동생이 안먹는다고 해서 하나만 픽
그냥 달아서 다들 좋아하나봄

쫌쫌따리 먹으면서 돌아다니다가
미피 상점 발견했는데 음식물 반입 금지라 못들어감 ^^
쉬다가 교토대 학생의 설문조사도 해줬닼ㅋㅋ

버스기다리면서 상점 구경
미니 유키오 발견!! 이건 희귀하자나
+ 가방이랑 찰떡콩떡 +

가와라마치 거리쪽으로 돌아와서
오늘의 먹방은 내사랑 초밥

다들 지라시 스시 먹던데 대쪽같이 초밥 주문^^
(지라시는 너무 주먹밥 st..)
미슐랭 스타 까지는 아니고 가이드? 암튼 맛집이었다
♡ ♥ 대 존 맛 ♥ ♡

뭐지 빈티지 상점이었나
사장님 DP 솜씨가 예술이었다
그냥 구경하는 재미~.~

? 유명한 도넛집인가 ?
사람 왕왕 많음 | 도넛도 많음
근데 먹고싶은건 딱히.. 끌리는게 없다
하찮은 도넛 트레이.. 영어 구매 담당은 접니다 Hello..

또왔다 블루보틀 정원
오늘은 다른 카페에서 아아
커피 기다리는데 라떼가 맛있는 이유를 알았다 ㄷ
북해도 우유

상점가에서 그릇 구경도 해주고요~.~
여기도 사장님이 DP를 잘해놓은건지
다른 가게에 비해 관광객 많음

베이킹 도구들 구경하고 싶었는데
파는 곳을 못봣다ㅠ ㅠ

유키오 획득 22 (이번 시즌은 메론인가)
색감이 맞아서 행복해~.~
가방에 영구박제

저녁 예약 실패 후 숙소 근처 초밥집
웨이팅 한시간 도라방스구요
기다리는 동안 메뉴 정독하면서 뭐시킬지 계산ㅋㅋ

연어알 존 맛 ! 하나도 안비리고 식감 미쳤다
나의 픽 : 중뱃살 + 간장절임 참치 + 등푸른 3종 + 대뱃살
1시간 기다리고 10분 컷으로 흡입한거 같다 ㄷ

쇼핑 전에 교자도 맛만 보자며 호로록
여기도 미슐랭ㅋㅎ 양배추가 살아있어서 오독오독 맛있다
인당 2개씩 딱 적절한 양이었다^^

귀여운게 최고얌!
다이소에서 키티 칫솔꽂이도 발견했는데
멕아리가 없어서 사용 불가ㅋㅋ
그냥 관상용으로 놔둠

유키오 일대기
진짜 희귀 + 멍청한 녀석으로 데려가야해
슬픔이 같이 생긴 녀석도 고민했는데
약간 엘리멘탈 닮은듯

마지막 야식은 말차 범벅
쫀득 당고를 기대했는데 와라비 모찌였다
그래도 맛있음ㅎ.ㅎ

일본어 잘하고싶다ㅠ
여행다닐때마다 느끼는건데 언어 잘하면 너무 좋을듯
불어랑 스페인어는 꼭 배워야지

마지막 아침 카페까지 야무지게
역시 우유 맛집인듯.. 다르다..
(약간 일본은 달라 병인거 같은데 암튼 다름)
말차가루 사서 매일 만들어먹기 실천중

여행은 즐거워
다음번엔 소도시 중심으로 가보자구
‍♀️ ‍♀️ ‍♂️

[Github] Github Pages로 웹사이트 배포하기

오모짱_ — Wed, 8 May 2024 12:54:02 +0900

시작은 어버이날 카드를 만들어서 보내고 싶었던 컴공 졸업자의 깔짝임..

Github pages 설정을 이용하면 서버 연동 없이 웹사이트를 배포할 수 있다는 사실..!

(단, 동적인 페이지는 불가능하며 정적 페이지만 가능하다 HTML, CSS, JS)

repository > settings > pages > branch

branch와 경로 설정 후 레포지토리 첫 페이지로 돌아가면

deployments가 생긴걸 확인할 수 있다! (시간이 조금 걸림)

이제 이 링크를 보내주면 끝!

Tistory 스킨 변경

오모짱_ — Sat, 4 May 2024 18:15:44 +0900

테스트 글쓰기 ing

레트로 스킨을 좋아하는 사람으로 직접 만들어볼까 했는데;;

귀찮아서 어찌저찌 배포된 기본 환경에 깔짝거리며 커스텀 진행

정작 모바일에선 아무것도 안보이는게 흠이지만

pc로 보면 조금 달라진다는 점이 괜찮을지도..

근데 또 이게 safari에서 볼때랑 chrome으로 볼때랑 달라지는게 맘에 안든단 말이죠

직접 만들어야 맘에 들려나 조금 고민입니다

CORS Error

오모짱_ — Fri, 3 Nov 2023 13:15:58 +0900

??? 서버 ip + /api/v1/~~

get 요청을 보냈는데 오류를 얻었다

has been blocked by CORS policy: No 'Access-Control-Allow-Origin' header is present on the requested resource.

1. CORS

Cross Origin Resource Sharing

Origin = url 주소상에서 프로토콜, Domain 이름, 포트까지 포함

로컬에 띄운 http://localhost:5500 이 Origin

Cross Origin Resource Sharing = 서로 다른 Origin 간의 리소스 교환!!

2. CORS Error

Same Origin 의 경우 요청이 오는 곳 / 처리하는 곳이 동일해서 보안상 처리해줄 이유 X

브라우저에서 결과의 헤더 값을 통해 CORS 확인

브라우저에서는 서버에서 전달 받은 응답 중 헤더에 Access-Control-Allow-Origin 값을 확인하고

이 값에 현재 Origin이 포함되는지 확인

포함 O -> CORS 수행

포함 X -> 에러

3. CORS Solution

Access-Control-Allow-Origin 전체 허용

백엔드에서 모든 주소를 Access-Control-Allow-Origin 으로 주면 해결 가능..

배포용으로 적절한 방법이 아님

브라우저가 CORS 방어를 해줄 수 X > 보안 취약

>>> 특정 도메인만 추가해서 사용하는 것 추천

>>> 프록시 서버 사용하기

브라우저가 보낸 요청을 프론트엔드에서 받아서 대신 보내는 방법

서버 간 데이터 교환상에서는 CORS가 이루어지지 않기 때문에

프론트 서버에서 받은 정보를 브라우저에 업데이트

Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks

오모짱_ — Thu, 2 Nov 2023 16:55:00 +0900

[paper] [code: detectron2]

Faster R-CNN = 2개의 모듈로 구성

- 영역 제안을 위한 deep fully convolutional network

- 제안된 영역을 사용하는 Fast R-CNN detector

이전에..

R-CNN

CNN을 사용해서 객체 감지에 높은 성능

input 이미지를 SS 알고리즘 사용해 후보 영역 생성 ~ 2000여개의 region proposal

후보 영역을 cnn 입력으로 >> [cnn은 이미 imagenet으로 pre-trained 된 네트워크]

cnn을 통해 나온 feature map > 벡터 추출

- 클래스별로 svm classifier 학습 > 2000개의 박스들은 어떤 물체일 확률값을 가진다

- 가장 확률값이 높은 박스를 사용하기 위해 IoU 적용, 물체를 전체 대상화 할 수 있는 박스 하나 만들어내

> NMS

Regressor: bounding box regression

SS 를 통해 찾은 박스 위치가 부정확 > 모델 성능을 높이기 위해 박스 위치 교정

좌표/너비/높이 조정하는 함수 가중치 곱해 선형 회귀

> 입력을 위해 고정된 크기의 wrap/crop 사용 필요

> 이미지 정보 손실 & 2000여개 영역마다 cnn 적용

> SVM/Regression 학습 시간 오래 걸려

SPP-Net

R-CNN 단점 보완

입력으로 region proposal 하나하나 사용 X

> 이미지 자체를 conv net 통과 > feature map 만들어서

> feature map으로부터 region proposal 만들기

> 학습 속도 개선

Fast R-CNN

R-CNN + SPP-Net 의 단점 개선

전체 이미지를 CNN 통과시켜 Feature map 추출

Feature map에서 RoI(입력 이미지에서 SS로 찾아 feature map에 적용) 검출

> SS 로 찾은 RoI에 대해 RoI Pooling = 고정 크기의 벡터 추출 (저차원 벡터로 축소)

> 벡터를 FC 통과

> Softmax: (SVM 대체) RoI가 어떤 물체인지 classification

> Bounding Box Regression: SS로 찾은 박스 위치 조절

전체 시스템은 객체 감지를 위한 하나의 unified network로

Selective Search 가 느린 이유는 cpu에서 돌기 때문

-> region proposal 생성하는 네트워크도 gpu 에 넣자고..

알고리즘 : RPN과 Fast R-CNN으로 구성

- RPN 모듈은 Fast R-CNN 모듈에게 어떤 부분이 중요한지 설명해주는 attn 메커니즘 수행

RPN과 Fast R-CNN의 convolutional features를 공유 > 하나의 네트워크로

+ RPN이 RoI를 제대로 만들어야 학습이 잘 됨 → 4단계에 거쳐 모델 학습

(RPN은 FCN의 한 종류, detection proposlas 를 위해 end-to-end 학습이 가능)

+ Anchor box 도입해 속도 향상

1. ImageNet Pretrained model 불러와:

원본 이미지를 입력으로 feature map 얻는다

2. feature map이 RPN에 전달되어 region proposal 산출

3. 과정[1]에서 얻은 feature map과 region proposal 통해

RoI Pooling => 고정 크기의 feature map 얻어

4. Fast R-CNN 모델에 고정 크기 feature map 입력해서

classification 과 bounding box regression 수행

RPN

+ Anchor box

기존 sliding window는 고정된 window 이미지에서 움직이면서 객체 탐지

> anchor를 사용하면 가운데 픽셀 기준으로 k개의 anchor box 이용해

하나의 window에서 여러가지 scale | aspect ratio 의 bounding box 고려

3가지 scale & 3 aspect ratio ==> k = 9 anchor box 사용

입력과 출력

1. pre-trained cnn 통과 > feature map (w,h,c)를 입력

2. 3x3 conv 연산 수행 | zero-padding = 1, intermediate feature map 크기를 w,h로 유지

3. 1x1 conv 연산 수행 -> [cls] ojbect 존재를 위한 classification | [reg] obj 위치를 위한 bounding box regression

4. classification result = w, h, 18(2*9): sliding position의 중심점

5. bounding box regression result = w, h, 36(4*9) 4개의 좌표를 가지고 regerssion

Loss function

: index of an anchor
: predicted probability
: parameterized coordinates
: mini-batch size
: the number of anchor locations
: balancing parameter (default = 10)
: cross-entropy loss
: L1 smooth loss

Sharing features for RPN and Fast R-CNN

Fast R-CNN 모듈은 RPN을 통해 RoI를 받는다

Non-maximum suppression을 사용해 2000개의 RoI 사용

* Training

anchor target layer | Proposal target layer 존재 > 학습을 위한 ground truth 만들어

* Detection

Ref. pytorh로 구현된 Faster R-CNN repository: github

^.^

Graph R-CNN for Scene Graph Generation

오모짱_ — Thu, 2 Nov 2023 09:09:53 +0900

[Paper]. [Github]

✏️ 제안

1. Graph R-CNN: 객체 <-> 이미지간의 관계 detecting
➞ Relation Proposal Network(RePN)

2. attentional Graph Convolutional Network

➞ obj & relation 사이 contextual 정보 파악

3. evaluation metric

➞ 존재하는 metric 보다 holistic & realistic ^^

(a) Object node extraction (b) Relationship edge pruning (c) Graph context integratoin

Visual Scene

➞ 이미지 내 객체에 초점을 둔게 대부분

img classification | obj detection | segmentation

scene 을 객체간의 집합?collection으로 표현하면 관계를 파악하기 어려워

➞ obj 를 포함하고 있는 그래프로 이해하자

그래프 표현:

node = obj, edge = relationship 형태의 fully connected graph

객체수가 증가하면? 그래프 표현이 의미가... ㄴㄴ

Graph R-CNN (for scene graph generation)

1. obj node 추출 ➞ utilize standard obj detection pipeline[32] Faster R-CNN

2. relation edge pruing

3. graph context integration

Scene Graph

* Image region

* relationships:

- V: set of nodes corresponding to localized obj regions in I

- E: relationships between obj

- O: object , R; relationship labels

model을 다음과 같이 나타낼 수 있음

I: Image V: 이미지 내의 object node set E: object 간의 relationship O: object label, R: Relationship label

1. Object Region Proposal

Faster R-CNN으로 객체 영역 제안

객체 i와 관련 있는 영역 rio=[xi,yi,wi,hi]과 feature vector , class에 대한 확률분포 를 추출한다.

(classes = { 1, ..., k })

spatial region
feature vector
class에 대한 확률분포 를 추출

2. Relationship Proposal Network

: (원래) vertex의 잠재적인 edge의 uniform random sampling 을 통해 구하는데

: 논문에서는 RePN 제안 > 전체 생성 프로세스를 end-to-end 방식으로 학습할 수 있도록 함

n개의 obj가 있을 때 O(n^2)개의 관계 만들어지는데

RePN -> pruning

(Φ(pio),ψ(pjo)는 sub, obj를 구별하기 위한 projection function)

> [poi, poj] 를 concate 해서 MLP 하는 방법도 있는데 메모리/계산량 측면에서 매우 그지같음

>>> asymmetric kernel fucntion 사용

Overlap 계산

두 객체 쌍 {u, v} & {p, q}

I: computed intersection area between 2 boxes

U: union area

모든 pair 는 sigmoid 를 거쳐 0 ~ 1 사이의 score 가져

내림 차순으로 정렬하고 K 개의 pair 에 대해 NMS 수행

결과 = sparse Graph = (V, E) 얻어

edge 에는 object pair 의 union box의 feature 추출한 visual representation 담긴다..

: number of relation)

~~나머지 m 객체 쌍은 관계 E를 가진 후보로 간주해 - G=(V, E) 그래프를 얻는다?~~

Vanila GCN

노드 i의 표현 zi: 모든 이웃 노드들 zj에 선형변환 가중치 aij 곱해 update

a는 0 ~ 1 사이의 값으로 feature의 symmmetically normalized adjacency matrix에 의해 미리 계산됨.

여기에 attention 을 도입하면

[* , *]: concatenation operation: concate 한 node feature 를 2 layer MLP에 통과 > softmax

== a를 구한다

* object node

* relationship node

N 개의 object node 와 m개의 relationships + 모든 object nodes 끼리 skip-connect edge를 연결시켜global context를 고려한 representation update

3. Graph labeling

: iterative refinement process

Loss function

P(V | I )
- RPN과 동일한 loss: binary cross entropy loss
P(E|V ,I)
- another binary cross entropy loss on relation proposals
P(R,O|V,E,I)
- 2 multi-class cross-entropy losses
- object classification & predicate classification

Evaluating Scene Graph Generation

SGGen+ formulated:

C(O): number of object nodes correctly localized and recognized
C(P): for predicate → depends on the location of the subject and object
C(T): triplet
N: number of entries (sum: objects, predicates, relationships)

[Windows] Ubuntu | VirtualBox Setting

오모짱_ — Wed, 1 Nov 2023 01:09:56 +0900

1. 본인 컴퓨터 환경에 맞는 가상환경 설치

https://www.virtualbox.org/wiki/Downloads

Visual c++ 2019 redistributable package 설치

(https://learn.microsoft.com/en-us/cpp/windows/latest-supported-vc-redist?view=msvc-170)

2. Ubuntu 20.04 설치

(https://releases.ubuntu.com/20.04/)

3. 새로 만들기

- ISO = Linux

- 종류, 버전 선택 = Ubuntu 20.04 LTS

>기본 메모리 = 4096

>CPU 4개

>비디오 메모리 32MB

>공유 폴더: 자동 마운트/항상 사용하기

✂️ Trobule

* 키보드 설정시 계속하기 버튼 안보여..

참고 (https://min0114.tistory.com/29)

= display settings에서 해상도 설정하면 보여요

4. 공유 폴더

Terminal 에서 root 권한 실행:

$ su

공유 폴더 생성

$ mkdir {name} (mkdir VB_share)

공유 폴더 마운트

$ mount -t vboxsf {windows 공유 폴더} { 생성한 공유 폴더 경로 }

5. 필요한 library 설치

apt-get update

apt-install python3-pip

pip install pytorch-lightning==1.9.5

pip install transformers

pip install onnx

pip install onnxruntime

VScode 설치

ssh 서버 설치 및 로컬에서 접속

* open ssh 서버와 클라이언트 모두 설치

$ sudo apt-get install ssh

$ sudo systemtl status ssh

서버가 활성화 상태인지 확인ㅇㅇ -> active(running) 보이면 실행중인 상태

방화벽 상태를 확잉ㄴ하고 사용중이라면? ssh 허용하도록 변경

$ sudo ufw status

$ sudo ufs allow ssh

서버 접속을 위한 ip 주소 알아내기

$ ifconfig

필요한 경우 net-tools 설치

$ sudo apt install net-tools

inet 값이 ip 주소!!

[Linux] UTM | M1 | 공유폴더 | 환경 설정

오모짱_ — Sat, 14 Oct 2023 20:46:55 +0900

~~또 무슨 뻘짓거리를 하려고..?~~

1. ubuntu 20.04를 시작으로 공유 폴더를 설정하고 싶은데

폴더 > other location 에서 spice client folder라는게 보여야 한다.. > 안보여

sudo apt install spice-vdagent spice-webdavd

reboot > other locations > 조금 지나면 spice client folder 가 보인다

이러면 된건가? 아무튼 성공

++ 네트워크 검색 지원한느 samba, 일부 유형의 드라이브 마운트 가능.. 어쩌구

sudo apt install samba gvfs-backends

2. 갑자기 길을 잃고 VS Code를 쓰고싶어

sudo apt install net-tools

ifconfig

mac 터미널로 돌아와서

ssh [username]@[ip address]

오.. 된다.. VSC > ssh config file 에 host 추가해서 사용하기 가능^^

3. mount 하고 싶다고

unknown filesystem type 'vboxsf'

vagrant plugin install vagrant-vbguest
vagrant vbguest

vbox가 아니잖아..?

애초에 파일 마운트가 뭔데ㅠ ㅠ

> 컴퓨터 파일 시스템 -> 다른 dir로 연결하거나 합치는 작업ㅇㅇ

- file system: 파일과 dir 구성하고 저장하는 방식 정의 [운체 시간에 배운거 아닌가]

- mounting: 파일 시스템을 운영체제의 dir 구조에 연결하는 프로세스 > 다른 파일 시스테므이 파일|dir에 접근 가능

- mount point: 마운트할 파일 시스템을 운영체제의 dir 트리에 연하는 지점

- Network File System(nfs): local 파일 시스템처럼 마운트 가능 > 네트워크를 통해 원격 서버의 파일 시스템에 접근 가능

3. anaconda

# ubuntu 20.04

# 버전 확인

.sh 파일 다운로드 > wget

wget https://repo.anaconda.com/archive/Anaconda3-2023.09-0-Linux-aarch64.sh

bash Anaconda3-2023.09-0-Linux-aarch64.sh

설정하다가 자동 활성화 해버렸다.. > 해제

conda config --set auto_activate_base false

source ~/.bashrc

4. tensorboard error: 403

ssh -L 8878:localhost:6009 {username}@{ip address} -p 2222

jupyter notebook => 403 error

왜 ?? => 브라우저 쿠키 설정의 오류^^

5. 뭔짓거린지 모르겠음

그냥 window 쓰는게 맘 편할거 같다는 생각이 들어요

[Linux] su: Authentication failure

오모짱_ — Fri, 13 Oct 2023 23:37:17 +0900

root 권한 얻기 위한 su.. error

> root password를 설정하지 않아서 그럼^^

sudo passwd root

8글자 이상ㅎ.ㅎ

[Torchtext] Can't find model 'en_core_web_sm'

오모짱_ — Wed, 4 Oct 2023 13:04:44 +0900

pip install -U spacy

[E050] Can't find model 'en_core_web_sm'. It doesn't seem to be a shortcut link, a Python package or a valid path to a data directory.

>>>

English 같은 language 를 별도 설치

python -m spacy download en
python -m spacy download de

~~자연어 처리 모델 돌리면 매번~~

~~Torch 버전이랑 Cuda랑 Torchtext 어쩌구 계속 에러나는데~~

~~정리하기 귀찮아서 매번 이러고 있다~~~~

[Linux] ssh: cannot connect to host | No space left on device

오모짱_ — Mon, 25 Sep 2023 11:04:03 +0900

loop: 이미지 파일 -> 블록 device로 인식되게 해주는 디바이스 드라이버

=> 이미지 파일 마운트

df -h 로 용량 확인

fdisk -l

현재 디스크 및 파티션 보기

/dev/loop0 ~ loop4

파일 => 루프 장치를 사용해 블록 파일로 접근 가능, RAM 점유와 관련 X

'/dev/loop' 장치는 파일 시스템 이미지가 있는 파일을 블록 장치인 것처럼 취급

snap? 뭔데 이거

nvme0n1 disk에 nvme0n1p1, nvme0n1p2, nvme0n1p3 3개의 파티션으로 분할된 상태

nvme0n1p3dp os 설치한거 같은데..

nvme0n1p3 size = 928.5G => os는 100G만 사용중

typedms lvm (논리적 볼륨 크기 -> 크기를 자율로 확장 가능)

lvm이 용량의 100%를 사용할 수 있도록 만들어주자

lvextend -l +100%FREE /dev/ubuntu-vg/ubuntu-lv

df -h로 다시 확인해보면 용량이 안늘어나있는데..

resize2fs /dev/mapper/ubuntu--vg-ubuntu--lv

삽질 끝!!!

이제 맘편하게 공부 가능^^

[개발환경] RTX 4090 Ubuntu 22.04 | CUDA

오모짱_ — Wed, 13 Sep 2023 10:15:12 +0900

❍ Ubuntu 22.04

❍ nvcc -V

nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2022 NVIDIA Corporation
Built on Wed_Sep_21_10:33:58_PDT_2022
Cuda compilation tools, release 11.8, V11.8.89
Build cuda_11.8.r11.8/compiler.31833905_0

sudo apt-get update
sudo apt install -y ubuntu-drivers-common

구성 확인 + Nvidia Graphic Driver

lspci | grep -i nvidia

GPU 2개 ➝ 2개 뜨는거 확인

Distribution + Release number 확인

uname -m && cat /ect/*release

ubuntu 22.04 설치 확인

gcc compiler

gcc --version

# 없다면 설치
sudo apt update
sudo apt install build-essential

Kernel version 확인 + Kernel headers install

uname -r
sudo apt-get install linux-headers-$(uname -r)

그래픽 카드 확인

sudo lshw -numeric -C display

Compatible version 확인

sudo ubuntu-drivers devices

distro non-free recommended 표시된 nvidia-driver-###-open 확인

원하는 버전으로 설치 & reboot 후 확인

sudo apt install nvidia-driver-###
sudo reboot

nvidia-smi

> CUDA Version은 compatible version 의미

CUDA install

cuda-toolkit 에서 환경과 맞는 설정 찾아 설치

코드 복붙 > 순차적으로 진행

이미 호환되는 driver 확인 후 설치 > driver 해제하고 설치

경로 설정

sudo vi ~/.bashrc

아래 두 줄 추가

export PATH="/usr/local/cuda/bin:$PATH"
export LD_LIBRARY_PATH="/usr/local/cuda/lib64:$LD_LIBRARY_PATH"

수정된 bashrc 적용 후 확인

source ~/.bashrc

nvcc -V

cuDNN 설치

cuDNN Archive 버전 확인 후 다운로드

scp 명령어: mac > ubuntu 파일 전송

# 참고
scp example.txt remoteuser@your_server_ip:/home/remoteuser/

압축 풀고 /usr/local로 복붙 후 권한 설정

tar -xvf cudnn-linux-x86_64-#.#.#.#cuda##-archive.tar.xz

sudo cp cudnn-linux-x86_64-#.#.#.#_cuda##-archive/include/cudnn*.h /usr/local/cuda/include
sudo cp cudnn-linux-x86_64-#.#.#.#_cuda##-archive/lib/libcudnn* /usr/local/cuda/lib64
sudo chmod a+r /usr/local/cuda/include/cudnn*.h /usr/local/cuda/lib64/libcudnn*

명령어 입력 시 제대로 출력 확인

cat /usr/local/cuda/include/cudnn_version.h | grep CUDNN_MAJOR -A 2

Anaconda 설치

root 에서 설치해야 하는건지??

다른 사용자에서 접근 안되서 삽질 222

anaconda : wget 명령어로 설치파일 다운로드

다운로드한 경로에서 실최된 파일 실행

bash Anaconda3-####.##-Linux-x86_64.sh

❍ 기본적인 설치 경로 = /home/[사용자]/anaconda3

❍ 필요한 경우 변경해주기

.bashrc에서 PATH 등록

export PATH="/home/{username}/anaconda3/bin:$PATH"

.bashrc 최신화

source ~/.bashrc

ssh 내 계정에서 .bashrc 수정 > conda 확인 완료^^

VS Code: ssh 접속

➞ remote-ssh extension > user@ip addr 접속

➞ python extension 설치

➞ conda env

# 가상환경 목록 확인
conda env list 

# 가상환경 생성
conda create -n [name] python=3.9

# 실행
conda activate [name]

# conda: error: argument COMMAND: invalid choice: 'activate'
# 해결: linux anaconda3 path 입력
source /opt/anaconda3/etc/profile.d/conda.sh

✏️ import torch ..[OK]

torch.cuda.is_available() > [Fasle]

✅ torch ↔ cuda 버전에 맞게 conda로 설치

pkgs > conda clean

device = torch.device('cuda:0') if torch.cuda.is_available() else torch.device('cpu')

torch version 맞추기.. [link]

cuda 11.8이니까 이게 맞지 않을까

conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

# conda 랑 pip 차이가 뭐죠?

GPU 정보 확인

# GPU 이름 체크(cuda:0에 연결된 그래픽 카드 기준)
print(torch.cuda.get_device_name(), device = 0)

# 사용 가능 GPU 개수 체크
print(torch.cuda.device_count())

특정 번호 GPU 사용 지정

import os

# 0, 1, 2번의 GPU를 모두 사용하고 싶은 경우 예시(각각 cuda:0, cuda:1, cuda:2에 지정)
os.environ["CUDA_DEVICE_ORDER"] = "PCI_BUS_ID"
os.environ["CUDA_VISIBLE_DEVICES"] = "0,1,2"

# 2번 GPU만 사용하고 싶은 경우 예시(cuda:0에 지정)
os.environ["CUDA_DEVICE_ORDER"] = "PCI_BUS_ID"
os.environ["CUDA_VISIBLE_DEVICES"] = "2"

[참고] Ubuntu Server

[세미나] 발표 회고 | 피드백 정리 | TO DO

오모짱_ — Mon, 11 Sep 2023 11:13:01 +0900

˗ˋˏ ‍♀️ᩚˎˊ˗

4번에 걸친 세미나 발표 끝

♧ 목표 = 인턴 + 연구과제 ➔ 아주 멋지게 해내기

♣ 현실 = 개같이 멸망 ٩⍩⃝و

1. Pointer Network [정리]

첫 논문 발표 때는 나름 피드백 정리, 회고 글도 작성했었다. [첫 발표]
조합 최적화 문제를 풀기 위해 어텐션 메커니즘을 도입한 모델을 제시..

발표에 너무 자신이 없고 떨리는 사람이라 항상 대본도 써놓고 덜덜덜
그냥 이해한대로 잘 얘기하고 싶은데 앞에만 서면 머리가 굳는다ㅠㅠ

ppt에 사용한 자료들은 대부분 논문 그림 | 수식을 캡처해서 사용했는데
대부분의 학생들이 논문 그림을 사용하는데 새롭게 만들어서 사용하는게 좋다는 피드백을 받았다.
& 목소리를 키우고 자신감 있게 말하기

레퍼런스 논문들까지 꼼꼼하게 보고싶은데 + 시간 부족 ⬅ 핑계인가
욕심내면 너무 끝도 없는데 그냥 잘해보고 싶은 마음이 컸다

2. Attention [정리]

읽을 논문들이 쏟아졌던 일주일..?
그와중에 발표 준비까지 하려니까 생각보다 심한 스트레스를 받았던 것 같다.
내 능력 VS. 잘하려는 욕심을 조절하지 못해서 이도저도 못한 발표였다.

반복되는 주제의 논문들이라 연관지어가면서 읽고 싶었는데
이해 > 못함 > 이해? > 바보 의 연속
이게 맞나 싶었던 상황에서의 발표

이전 발표때보다 논문은 더 많이 봤는데 >> 그때문인가 발표할때 약간 내 머리속에만 있는 기분
수식에 대해서 좀 더 자세한 예시를 풀어서 만들었으면 좋았을 듯..
+ 심지어 하나 빼먹음..
+ 실험 결과는 어짜피 성능 좋다는 결론이니까
+ 수식이 많이 나오는 논문을 발표할 때 > 처음 듣는 사람이 잘 이해할 수 있도록 === 그러러면 내가 완벽하게 이해를 해야겠지?

⏩ 문제가 뭔지 알고 있는데, 하기 싫었던 걸까

3. Transformer [정리]

다른 리뷰들도 많이 참고해서 정말 많이 읽었는데
발표 자료 와장창 깨져버리기 ➔ 멘탈 바사삭

이번엔 코드도 찾아보면서 직접 따라해보고 이해하려고 노력
+ 주어진 시간도 평소보다 많았기 때문에 여러번 보려고 노력했는데
+ 오히려 시간이 많아지니까 그만큼 늘어진 듯 >> 집중 못했던거 같아

질문에 대한 답변을 잘 못했다 > 자세하게 생각해보지 않았기 때문에
의욕만 앞서고 여태 봤던 논문들조차 정리가 안된다는 느낌이 살짝 들어 > 이게 맞나

⏩ 내 생각을 가지고 읽어야하는데.. 그냥 읽기만 했다

4. Order matters [정리]

마지막 발표할 논문
이번엔 수식 ⏩ 예시까지 잘 설명하려고 여러번 읽었는데
일주일이라는 시간에 무너짐
인턴 + 연구과제 + 발표 >> 과부하
어느 하나 우선순위를 못정하고 스트레스만 오지게 받았고

여태 봤던 논문들 쭉 훓어보면서 생각 정리

뭔가 아쉽다.. 잘 하려는 마음을 조금 내려놓고 질문을 가지고 읽을껄

막힌다고 생각할 때 주변 사람들한테 도와달라고 말할껄

이제 와서 후회해봤자 어쩌겠거니 싶지만

이런 기회로 성장하는거겠지 생각하자

세상 혼자 사는거 아니니까 좀 답답하게 살지 말고

++ 교수님과의 면담 ➔ 느끼는게 많다

이미 날 너무 잘 파악하고 계신 교수님..ㅎ

주변에 이런 사람들이 있다는게 너무 고맙고

자신감을 가지자 | 뭔가 큰 일을 해내려고 하지말고

조금씩 내 속도에 맞춰가면 된다

++ 채찍질? 괜찮은데 적당히 해야지

너 생각보다 개복치 사람이고 예민이니까

멀쩡해 + 괜찮아 금지

힘들면 버티지말고 조금 쉬었다가기

++ 내가 하고싶은 일 찾기

전공 분야나 앞으로의 진로나 생각 -ing

쉬고 싶으면 잠깐 쉬어도 괜찮고

다른 공부가 하고싶으면 지원해줄 수 있으니까

진짜로 하고 싶은게 뭔지 찾아보기 ⏩ 근데 다 하고싶으면?

~~욕심도 살짝 내려놓기..~~

⏩ 여태 봤던 논문들 다시 보면서 교수님과 미팅

이번엔 코드도 다시 살펴보고 + 구현

⏩ 발표가 아니면 더 잘 설명할 수 있겠지

하고싶은거 있으면 다 해봐라..?

2023 여름 | 우당탕탕 일본 여행 | 오사카 | 나라 | 교토

오모짱_ — Fri, 8 Sep 2023 15:27:14 +0900

1일차

6일동안 쩡쩡이를 챙겨줄 듬직한 사람들
가고싶은 곳만 말하고 일정을 부탁했다

청주 공항은 처음이라 어색
인천보다 가까운데 왜 여기로 안왔지 싶고?
주변에 군사기지 있어서 사진 맘대로 찍으면 안된다고 한다

오랜만에 타는 비행기
그림이 너무 귀여워서 찍어봤다

밤이 되서야 도착한 일본
환전한 돈을 두고 온걸 공항 ➞ 숙소가는 버스에서 알아채서 당황
1번이랑 3번이 짐싸다가 서로 말이 안맞았나보다

괜찮아 나 월급 받았어^^
카드도 있으니까 내꺼 쓰면 된다고 안심시키기

숙소가 한시 이후로 나갈 수 없다고 일단 밥부터 해결하기
늦게까지 여는데가 이치란밖에 없는데
역시나 웨이팅 줄이 너무 길어서 다른 곳 찾아가기

언니가 저장해둔 숙소 근처 타코야끼 집
소금마늘 | 명란마요 | 무 폰즈 | 오리지날 세트로 주문했는데
소금마늘 + 무 폰즈가 맛도리~.~

타코야끼 흡입하고 편의점 들려서 간식 쇼핑
예전같았으면 아이스크림 + 초콜릿 + 당고 와방방 샀을텐데
요새 먹는거 너무 힘들어서 비타민 음료 + 동생 과자 조금 뺏어먹기
야끼소바 빵 몰랐는데 UFO에서 나온거였다..!
맛있는데 너무 짜..

2일차: 나라

밖으로 햅파이브가 보이는 아주 괜찮은 숙소 뷰
이불 안덮고 너무 춥다고 찡찡거리다 한소리 들었다 ㅎ.ㅎ

편의점에서 아침으로 산 간단한 먹을거리들
밥싫어 인간은 먹을거 고르는게 너무 힘들고요
결정장애 2번을 답답해하는 1번과 3번 ㅋㅎㅋㅎ
내 취향을 알아가는 중이랍니다

오늘의 일정은 나라

열차 맨 앞칸은 처음인데 레일이 보이는게 예뻤다
오즈모 사용방법 좀 익숙해져서 올껄
흔들리는 삼각대로 영상찍다가 휘청 휘청
브이로그 만들고싶어서 쫌쫌따리 영상 클립 모으고 있는데
살릴 수 있을지는 의문

나라 도착하자마자 점심거리 구매
감잎으로 싼 생선 초밥이라는데
여기까지 왔으면 한번 먹어줘야지

그리고 펼쳐지는 사슴

사슴한테 나눠줄 센베 사들고 일단 가방에 숨겨서 들어가는데
앞에서 산 사람이 사슴 몰고다는거 보고 살짝 겁먹었다

미친 더위를 뚫고 오르막길 언덕을 올라서 도착한 동대사
가장 큰 목조 신사였나
여러번의 재건축으로 줄어든 사이즈라고하는데
그래도 거대한걸..?

아빠 설명 없이 구경하기
한자를 못읽으니까 뭔소린지 전혀 모르겠고
그냥 멍 때리기 + 관람

오랜만에 느끼는 조용함이라
그냥 걷는 것만으로도 좋은 기분
중간중간 사슴이 나타나서 살짝 무섭지만ㅎㅎ

그래도 작은 애들은 귀엽더라
사슴 굽? 소리 듣고싶었는데 그런거 하나도 안들리고
무서워요..

사슴 없고 사람 없는 조용한 벤치 찾아서 점심 먹으려고 했는데
널린게 사슴이라 밥먹기 좋은 장소 찾는데 조금 힘들었다
버스가 자주 오지 않는 정류장에서 간신히 점심 해결ㅠ ㅠ

생선 + 신맛 좋아해서 나름 먹을만 했는데
한번 맛본거로 만족!

원래는 산 ➞ 신사로 갈 예정이었는데
너무 더워서 등산 포기
이미 사슴 피해서 점심먹으로 가는길에 운동 끝냈다..

등불이 천개정도 있는 신사였나..
암튼 엄청 많음
중간 중간 사슴들이 보이는데
사슴 공원보단 얌전히 있어서 괜찮았다

날씨만 괜찮으면 쭉 돌면서 구경할텐데
이미 지칠대로 지쳐서 적당히 둘러보고 돌아가기
중간에 어떤 커플이 사슴한테 센베주는거 보고 배워서
우리도 인사하고 나눠줬다 ^.^

여기는 아가 사슴들인지 사람들이 오면 도망가더라
처음엔 겁먹고 들어왔다가
마무리가 좋아서 다들 해삐^^

내가 오고싶다고 해서 온 곳이라 살짝 걱정했는데
다들 센베 나눠주고 좋아해서 다행이야

잠시 더위 식히러 온 카페
와라비 모찌가 들어있는 흑당 빙수??
빙수 파는 곳은 저렇게 걸어놓은게 너무 귀엽다

근처에 유명한 당고 가게가 있다고 해서 찾아가기
방금 구운 떡 + 달다구리 소스 = ♥
일본에 살았으면 돼지가 됬을꺼라는 1번 왈..
인정ㅋ

다른 유명한 쑥떡집도 가려다가 줄이 엄청 길고
뭔가 한국인 루트 탄거 같아서 가기 싫어졌다

나라 기념품으로 사슴 유키오 인형 구매
멍청한 얼굴이 너무 맘에 들었어
지역별로 한정 인형을 파는데 하나씩 사가야겠다

저녁으론 츠케멘!! 본고장에서 먹어보자 하고 왔는데
왜 맛 없.. ? 실망ㅠ ㅠ
면은 맛있었는데 애매한 멸치액젓맛이 맘에 안들어
다들 맘에 안들었던 저녁 ㅋㅎㅋㅎ 그냥 배고파서 먹었다

집가는 길에 로프트 들려서 구경 + 살 것 정해두기
팝업 스토어로 햄스터 어쩌구 있었는데
귀여운 노래에 아기자기한 디피가 맘에 들었다ㅋㅋ
그치만 살 건 없었고~.~

하루의 마무리는 숙소 앞 편의점
가을 한정 군고구마 피노가 있길래 이건 못 참지

3일차: 쇼핑

점심으로 라멘가게를 가려다가 줄 선 한국인을 보고 후퇴
돌아 돌아 다른 집을 찾다가 카레집에 들어왔다
길치 쩡쩡이는 그냥 따라다닐게
앞장 서줘

치킨 가라아게 | 고등어 우엉 | 스페셜 카레

3번이 다 맛보더니 스페셜 > 고등어 > 치킨
토핑만 달라지는 줄 알았는데 카레 맛 자체가 다르다고 한다
호지차 들어간 카레라 색다르고 좋았다

골목 골목이 조용하고 예뻐서 맘에 들어
1번과 3번은 길찾고 더워서 힘들어하는데
조용히 힐링하면서 돌아다니기ㅎ.ㅎ

오사카 하면 역시 도톤보리인가..
사람 개많다 진짜 주말이라 더 많은가
다들 이 앞에서 사진찍는데 뒤를 돌면 더 멋있다구

아무도 안찍는 뒷편 ㅋㅎㅋㅎ
3명이서 돌아다니면서 여긴 다신 안올 것 같다는 느낌 잔뜩
은행동 느낌이라는 3번 말에 모두 끄덕끄덕
우메다 짱짱

살까 말까 고민했던 타코 동전지갑
쓸데 없는 지출 하기 싫고
동전도 딱히 안쓰니까 그냥 패쓰
귀여운 것만 보면 환장해서 큰일이야

돌아다니다가 중고샵 같은 곳도 구경했는데
가격 무슨일..
선물로 사주기엔 조금 부담이라 멈칫ㅎㅎ
중고 물품 선물도 좀 걸려

미니 갓파바시 느낌의 골목도 들렸다
베이킹 도구 많아서 또 혼절
쿠키틀 + 마들렌 틀 + 등등등

레몬 모양 틀 사서 만들어달라는 1번
매번 장바구니에 넣어두고
언제 만들지 싶어서 안사고 있는 중ㅠ ㅠ
여유가 생겨야 말이죠,,

쫄래쫄래 걷다가 또 소품 + 문구샵 방문
1번은 이런데 어떻게 찾는건지 싶다

아기자기하고 사장님 디스플레이 센스가 미쳤다
덕분에 귀여운거 얻어가서 좋아

로프트에서 못봤던 문구들로 쇼핑하고 나오기
아이패드 쓰면서 문구류 욕심 떨어졌는데
다시 아날로그로 돌아가고 싶게 만드는 쇼핑 ✏️

잠깐 숙소 들려서 짐 정리
중간에 숙소 들릴 수 있어서 매우 편하다

뭘 사겠다고 계획하고 오면 괜찮은데 그런게 아니라서
쇼핑이 매우 힘들다

백화점 구경은 이제 별로!
그냥 거리 구경하면서 돌아다니는게 좋아

저녁은 3번째 방문이라는 쿠시카츠
추천받은 메뉴로만 주문했다
보리멸 | 닭고기 | 어묵 | 새우 + 사케

사케는 조금 마시고 못마시겠어서 패쓰
3번이 거하게 취해버렸다ㅋㅋㅋ

사람 많은 도톤보리 있다가 우메다 오니까 너무 편안
다들 집에 온 기분이라고 ㅋㅋ
쇼핑몰도 많고 교통도 편리해서
우메다에 숙소를 잡는거? 나쁘지 않다

편의점 당고도 맛있어
먹고싶은거 왕왕 많은데 위장이 못버텨서 힘들다ㅠㅠ

4일차: 유니버셜 스튜디오

오늘의 컨셉은 핑크

유니버셜 오픈런으로 입장하기
월요일 + 흐린 날씨 예보
그럼에도 사람 와방방 많음

생각보다 빨리 입장해서 굿즈샵부터 쭉 둘러보기
할로윈 시즌으로 나온 팀 + 고양이 귀 머리띠 사려다가
1번과 3번이 갸루같다고 해서 패쓰
스누피 머리띠도 귀여운데 혼자 하는거 별로라 패쓰

진짜 게임 세상처럼 만들긴 했더라
근데 마리오 관심 없어서 별 감흥 ㄴㄴ

어트랙션 하나 타주고 굿즈샵 구경해주기
바나나는 좀 탐나긴 했는데
컨셉을 지키키로 했다

어트랙션 하나 더 타고 나오니까 마리오랑 루이지가 반겨주는 중
둘러보다가 사진찍고 마리오 월드랑 바이바이

언제봐도 감동적인 호그와트
처음 왔을 때 너무 신나서 뛰어다니다가 핸드폰을 뿌셔먹었지

어트랙션 타러 가는 길
뭐가 보이냐는 1번의 질문에

"내가 보이네ㅎ"

해리포터 정주행 하고싶다
유일하게 책 + DVD로 소장하고 있는 시리즈물
다음번엔 기숙사 컨셉으로 입고와서 놀아야지 매번 다짐

지팡이 가게도 새로 생기고
밖에서 휘두르면 움직이는?
신기술도 많이 생겼다고 3번이 알려줬다

잠깐 앉아서 쉬고 있었는데 올빼미 집배원 있는 곳이었다..!
디테일한 컨셉들이 오덕의 마음을 울린다구ㅜㅠ

위즐리 형제의 장난감 가게
종합 감기약 세트 이런거 기대했는데
그건 안보이더라ㅎㅎ

입구에 있는 자동차랑 인사하고 해리포터랑도 바이바이
키링으로 자동차 팔던데 살까 고민했다가 패쓰

이번 유니버셜의 목적은 오로지 TIM 이라서

돌아다니다가 길가 정리하길래 퍼레이드 하나보다 해서 기다리기
유니버셜에서 퍼레이드는 처음인거 같은데
디즈니랑은 다른 느낌

미 니 언 월 드
어트랙션도 너무 귀엽고 재밌고 미쳤다
사고싶은거 너무 많아서 고민하니까
3번이 자기가 하나 사줄테니까 아무거나 고르라는데
월급 받았어 임마.. 내가 살꺼야

힘든 유니버셜 일정이었다
쥬라기 못 탄건 아쉽지만
나름 탈 거 다 타고 나와서 매우 만족

저녁으로 오코노미야끼 + 야끼소바 과식
3번이 일본어로 주문하는데 잘하더라..?
방문한 날 계란 서비스를 줘서 메뉴마다 추가된 타마고
배부르게 먹고 숙소 와서 뻗어버리기

5일차: 교토

열차길이 매우 멋지다
이것만 찍으러 다니는 사람 있는거 이해가 될지도

갈수록 피곤해하는 3번아
모지리 2번 챙기느라 고생이 많다..

교토로 갈수록 펼쳐지는 시골 풍경
교토 = 경주랑 비슷한 느낌이랄까
저번에 왔을때 제대로 둘러보질 못해서 살짝 기대

버스 패스를 사면 아주 편하게 둘러볼 수 있는데
한번 타고 잃어버렸죠??
버스 탈 때마다 멍청비용 소리 들으면서 사과하기

진짜 기억이 하나도 안나는
은각사

더워서 조금 힘들었는데
진짜 예쁘다

수학여행인지 교복입은 학생들이 많았다
골목골목마다 길이 너무 예쁜 교토

은각사에서 내려가는 길에 예쁜 소품샵이 있길래 방문
손수건? 사용법을 그려놓은게 너무 귀여워

점심으로는 오니기리와 절인 오이
밥은 딱히 먹고싶지 않아서 고른 오이였는데
너무 내 취향

교토 명물 먹거리 뿌시기 완료 ✅
생선도 먹어보라는 1번과 3번
내장은 조금 부담스러워

교토 유키오도 구매 완료 ✅
무녀 옷을 입은 여우 + 기와 모양 센베

내려가는 길에 동전지갑 가게가 있었는데
1번이 고민하길래 저번에 못 준 생일선물 사준다고 했다
모두의 의견을 모아서 귀여운거로 구매 ✅

☀️ ☀️ ☀️
날씨가 멋졌던 금각사
연못에 비치는게 예뻤고 날씨는 너무 더웠고

교토 오면 녹차 디저트 뿌수기 하려고 했는데
마땅한 카페를 찾을 수가 없어서 그냥 버스 환승지에서 아무데나 들어가기
여기서도 오이를 볼 수 있는게 재밌네

모두가 내린 버스
++ 멍청 비용 ++
대나무 숲 구경갑니다

대나무 숲길 쭉 돌아다니고
교토 주택마을 산책하고 돌아가는길에 발견한 100엔 자판기
ㅋㅋㅋ

한국인이 많이 보이는 소우소우 마을
목적은 가방이었는데 파우치랑 손수건이 더 이쁜게 많더라
마감시간 막바지에 도착해서 구매 ✅

우메다로 돌아가서 저녁을 먹기엔 시간이 애매해 근처 라멘집 방문
깔끔한 주방에 다들 감탄.. 어떻게 저렇게 관리했지?
기름 자국 하나도 없음 & 스텐 조리도구 개깔끔함

토마토 카레 라멘인데 똠양꿍 + 락사의 느낌이 나는 독특한 맛..?
일본인보다 외국인이 많은게 신기
심지어 사장님 영어 굉장히 잘하신다..

숙소 돌아와서 유키오 모음집 찰칵
멍청한 얼굴이 매우 맘에 든다

6일차: 쇼핑 & 먹방

1. 초밥

오픈런으로 방문!
각자의 취향이 보이는 다른 메뉴들

지하에 있는 서서 먹는 가게였는데
원래 가려던 곳보다 훨씬 낫다며 다들 만족

2. 551 호라이 만두

오사카에만 있는 프랜차이즈 만두집
일본까지 와서 무슨 만두인가 싶었는데
의외로 3번이 굉장히 기대하더라..?

부타만 | 새우 슈마이 | 아마스 당고
내가 고른 당고 다들 왜먹냐 라고 했지만 제일 맛있다고^^
새우 슈마이는 그냥 익숙한 맛이라 별로
남긴 만두는 공항가서 냠냠

3. 타코야끼

남다른 사이즈의 타코야끼
1번이 꼭 먹어야한다면서 5알만 구매 (+ 파 추가)
개뜨겁지만 맛있다

6일동안 즐거웠다
병든 쩡쩡이 데리고 다니느라 고생했어
1번과 3번

덕분에 스트레스 풀고
개강을 버틸 힘을 얻고 갑니다
열심히 살고 또 놀아야지

공항 도착해서 캐리어를 뒤바꿔가는 미친놈까지^^
아주 재밌고 다양한 일들이 많은 여행
막학기 부지런하고 후회없이 살아보자고

⸝ဗီူ⸜
☁️

Time Series Data > Machine Learning

오모짱_ — Thu, 31 Aug 2023 10:58:39 +0900

[과정 이해하기]

1. Merge

FRT와 Motion data의 시간 동기화 > 병합 > 하나의 보행 데이터 파일 생성

merge_Files_in_Folders(DIR_Src = Dataset/2022_11_10)

┗ create a folder for the merged files

원래 폴더명에 _M을 붙어서 새로운 폴더를 만들어

list of devices = [shadow, hs_server]

2. Labelling

보행 데이터의 정보 이용해 마지막 col 에 'TAG' 부여

label_config > shadowdata | smartinsoldata

3. FeatureSelection

'feature_config_xlsx' 이용해 라벨링된 데이터로부터 특징 재정렬 > 데이터 파일로 저장 > 특징 설정별로 폴더 생성해 데이터 관리

feature_config > class | IMU | SmartInsole | JointEncoder | ShadowMocap

4. Split

병합된 파일 이용해 K-Fold CV 기법 적용해 폴더 구성

5. Learning SW

특징별로 구성된 폴더와 'training_config.xlsx' 파일 이용한 신경망 학습 > 결과 파일 생성

training_config 파일 읽어 > Case 파악 > 폴더의 위치를 리스트로 관리

1. data reshape

(time * window size * features) > (time * features * window size) window size = sliding window

• 16 | 32 | 64 | 128 조절

• pathience = 5 : 10 ~ 12 epoch 에서 early stopping

+ shape 변경 이유는 딱히 없음 > 이게 맞을 것 같다

++ Data 수가 적으면 모델이 복잡한게 좋을거에요.. << 데이터가 많으니까 단순한 모델 사용

윈도우 크기가 연산 속도 및 변이 구간에서의 예측 성능에 영향

> 동작과 동작 사이의 변이 구간을 어떻게 레이블링하느냐에 따라 달라져

EX_ 걷는 동작 >> 변이 구간 >> 허리 숙이기

window size 작으면 변이 구간 포착 쉬워 > 잘 예측

window size 크면 다양한 동작들 중 어떤 걸로 예측할지 몰라 성능 오히려 안좋아질 수 있음

2. Data Augment

163854 > 1103599

힘을 내봐..

* 성능 비교: 원본 데이터 | 증폭한 데이터 (window size = 16)

87 >>> 99까지 갑자기 오른다?

* train | test | val dataset split 과정

> test data는 중폭시키면 안될듯

3. model 변경

[original] BidirectionalLSTM

• ~~CNN: ValueError ???~~

시계열 데이터 > 이미지 처럼 읽어들이기

class CNN:

    @staticmethod
    def build(n_timesteps, n_features, classes):

        input_shape = Input(shape=(n_timesteps, n_features, 1))

        model = models.Sequential([
            layers.Conv2D(filters=32, kernel_size=(3, 3), activation='relu', input_shape=input_shape),
            layers.MaxPooling2D(pool_size=(2, 2)),
            layers.Conv2D(filters=64, kernel_size=(3, 3), activation='relu'),
            layers.MaxPooling2D(pool_size=(2, 2)),
            layers.Flatten(),
            layers.Dense(128, activation='relu'),
            layers.Dense(classes, activation='softmax')
        ])

        return model

• LeNet5 [paper]

LeNet5나 CNN 이나 사실 비슷..

LeNet 이 CNN의 초기 버전 (상대적 간단하고 작은 모델) > 숫자 인식 같은 작업을 위해 개발된

[hdf5] 대용량 데이터 처리

오모짱_ — Tue, 29 Aug 2023 16:48:12 +0900

h5py + HDF5Mtrix
data generator library

csv 파일로 처리하다가 어쩌구

>> 메모리 부족으로 생기는 오류 같아요..

>> 대용량 데이터를 처리하는 방법에 대해 알아봅시다!

>> hdf5

1. tensorflow version

2. Import

import h5py
from tensorflow.keras.utils import HDF5Matrix

3. Create h5py data

data = pd.read_csv('data')

# 구조 생성시 데이터 불러와 넣어주는 작업 필요
# 데이터 나눠서 부르고 인덱스로 구분지어 입력 가능

f = h5py.File('path', 'w')

"""
데이터 저장 위한 구조 생성
keyword: 데이터 구조 접근 | data size: row, col | dtype
""" 

X = f.create_dataset('x', (10000000, 22), dtye='float32')
Y = f.create_dataset('y', (10000000, 1), dtype='float32')

# 데이터 입력하기
X[:] = data.iloc[:, 1:]	# f['x'] = data.iloc[:, 1:]
Y[:] = data.iloc[:, 0]  # f['y'] = data.iloc[:, 0]

# 나누어 입력하는 방법
# X[1:50 = data.iloc[1:50. 1:]

f.close()

4. Training

# load path

tx = HDF5Matrix('h5py path' 'keyword')
ty = HDF5Matrix('h5py path' 'keyword')

# batch 만큼의 데이터만 실제 메모리에 올려 학습에 사용
# batch 사이즈 잘 조절 > 메모리 에러에서 자유!!

# pytorch
model = Model() # 딥러닝 모델 생성
for e in range(1, 100):
	for j in range(int(len(data/5000))):
    	# ...
        model.forward(tx[j*5000: (j+1)*5000], ty[j*5000:(j+1)*5000])
        # ...

대용량 csv 파일을 hdf5 파일로 저장

scaler.pkl

test.hdf5

train.hdf5

val.hdf5

hdf5 viewer 설치 후 확인 가능

pickle: 파이썬 객체를 직렬화 | 역직렬화 하는 기능 제공

> 객체를 파일에 저장하거나 읽어올 때 사용한다

ex_

data = { ... }

# 객체를 pkl 파일로 저장
with open('data.pkl', 'wb') as file:
	pickle.dump(data, file)
    
# pkl 파일에서 객체 불러오기
with open('data.pkl', 'rb') as file:
	loaded_data = pickle.load(file)

window - nvidia-smi 지속 출력 방법
그냥 궁금한거: mac에서는? [blog]

ORDER MATTERS: SEQUENCE TO SEQUENCE FOR SETS

오모짱_ — Tue, 22 Aug 2023 08:46:45 +0900

논문: ORDER MATTERS: SEQUEN CE TO SEQUENCE FOR SETS

Oriol Vinyals, SAmy Bengio, Manjunath Kudlur

1. 입/출력 데이터의 순서가 모델을 학습할 때 중요한 역할

2. 입력 집합을 처리하는 seq2seq framework 확장

3. propose loss: searching over possible orders during training 훈련 중 가능한 순서 탐색

1. [Order matters] No natural order is known among input | output objects -> still be one that yields better performace

입/출력 간의 순서가 없을 때에도 성능 개선할 수 있는 순서가 존재한다

2. 모델 내에서 집합을 입/출력으로 고려하는 두가지 방법 제안 > 다양한 artificial & real datasets 어떻게 수행되는지 평가

RELATED WORK

seq2seq 모델 이후 _ 시퀀로부터 매핑하는 여러 프로그램 제안

❍ 이미지 캡션 생성: imgae > text

❍ 구문 분석: 문장 > 구문 분석 트리

❍ 계산: 문제 설명 > 솔루션 | point set > traveling salesman problem

+ external memories > reading (attention) mechanism to read memory

- RNNSearch

- Memory Networks

- Neural Turing Machines

- RL-TNM (paper): Reinforcement learning neural turing machines

> Chain Rule: serialize output random variables

> LSTM: long-term correlation

> RNN(encode sentences recursively as trees)과 같이 structured input을 가정 X

NEURAL NETWORKS FOR SEQUENCES AND SETS

seq2seq paradigm: 입력 X와 출력 Y를 모두 시퀀스로 나타내 (입/출력은 다른 길이일 수 있다)

조건부 확률로 모델링 > chain rule to decompose

Encoder: 입력을 순차적으로 읽기 위해 인코더 RNN 구현 (h(s): state of the encoder at time s)

Decoder RNN: 한번에 하나의 출력:

chain rule의 사용으로 이러한 접근 방식 > 가정 없이 구현 가능

입력 X | 출력 Y가 시퀀스에 해당하는 경우: RNN으로 순차적으로 읽는 것이 합리적 >>> 입력이 시퀀스가 아닌 경우??

Ex_ 입력이 정렬되지 않은 원소들의 집합 ??

❍ 시퀀스는 집합으로 표현 가능 _ (집합 = 순서가 없다)

ex) 시퀀스 내의 각 요소를 index와 결합한 tuple 형태로

"I like cats" > { (I, 1), (like, 2), (cats, 3) } 형태의 튜플로 변환 가능

이런 식의 표현이 시퀀스라도 다른 순서로 입/출력 하는게 더 beneficial 하다고 주장 가능

ex) divide-and-conquer strategy: finds the median element first

> solution: 증가하거나 감소하는 순서로 출력하지 않을 수 O

그래서,,

❍ seq2seq을 확장해 입/출력 집합을 다루는 방법

❍ seq2seq 적용된 작업에서 순서의 중요성 > 기존 모델에 대한 확장 & 실험 결과

4. INPUT SETS

입력 집합을 다루는 방법!!

그 전에, 입력이 집합 = 순서가 중요하지 않아, 두 원소 x(i), x(j)를 바꾸어도 입력 인코딩 결과가 바뀌면 안된다.

이거를 만족할 수 있는 방법이 === bag-of-words

단어의 등장 횟수, 단어 임베딩 , 유사한 임베딩 함수를 합쳐서 표현하는 방법으로 → 자연스럽게 permutation invariant 성질을 가진다.

단어의 등장 횟수 계산 > 벡터 표현 > 등장 횟수만 고려한 표현

== 문장에서 단어들의 순서가 중요하지 않은 경우, 문장의 주제/주요 키워드 파악하는데 사용 가능

텍스트 = BAG

각 단어는 고정된 차원의 벡터 공간 내의 특정 위치에 매핑 > 해당 단어의 특성/의미 나타낸다.

++_ 언어=sequential 성질을 가진 domain:

복잡한 RNN 을 사용해서 순서를 계산에 포함할 수 있어

❍ bag-of-words > Reduction operation = inefficient

각 요소를 독립적으로 다루고, 순서/상호작용을 고려하지 않아

> 집합 내 요소의 길이에 따른 변화 반영 못해

fixed dimentional embedding

ex_

10개의 단어로 구성된 문서 > 100 차원의 임베딩

같은 방식으로 구성된 다른 문서 > 100개의 단어로 이루어져 있다면? > 똑같이 100 차원의 임베딩

> 데이터 길이와 상관 없이 항상 일정한 차원의 벡터 생성해 > 데이터의 다양한 특성 표현 못해

ex_

이미지 내의 object detection > object = 고정된 차원의 벡터로 표현

고양이 = 100 차원 벡터

개 = 100 차원 벡터

> object 종류와 상관 없이 모든 물체를 동일한 크기의 벡터로 표현 > 비효율

4.1 INPUT ORDER MATTERS

입력 순서가 시퀀스 입력으로 받는 seq2seq 모델 성능에 주는 영향에 대해 알아보자^^

In principle, RNN과 같은 인코더는 입력 시퀀스에서 복잡한 특성 인코딩 할 수 있는 universal approximators (n-grams of any order)

> order not matter

[RNN] 내부 구조: 시퀀스 각 요소를 한번에 하나씩 처리해 업데이트

이전 시점의 정보 > 현재 시점에 영향 == long-term dependency 학습하는데 유리하다

입력 시퀀스 순서대로 내부 상태 갱신하는 과정 > 각 요소의 순서가 반영되 > 시퀀스 순서가 중요한 정보 처리 가능

입력 순서를 바꿔도 최종적으로 동일한 정보가 담기게 되므로 순서는 중요하지 않다.

[n-gram] 연속된 n 개의 요소(단위)

ex_ "Hello, how are you?" 2-gram ⇨ (Hello, how) (how are) (are you?)

> 주로 자연어 처리 텍스트 패턴 분석 | 모델링에 사용

> 언어 모델링: 이전 (n-1)개의 단어를 기반으로 다음 단어를 예측하는 데 사용 > 문장 | 텍스트 데이터의 확률 구조 모델링

근데 왜 순서가 중요하냐..?? non-convex optimization and more suitable prior.

> 모델 최적화 과정에서 함수의 형태가 복잡하고 non-convex 특성 때문에 최적화 어렵고

> 적절한 prior 활용해 모델을 조정하면 더 나은 결과를 얻을 수 ㅇㅇ

====== 이걸 보여주기 위해 실험을 해볼게 =====

➀ 기계 번역: 시퀀스의 순서 변경

source language(English) > mapping function: Encode > mapping function:Decode > target language(French)

╚ 영어 문장의 순서를 바꾸면 성능 향상(Seq2Seq): 기계 번역을 위한 end-to-end(하나의 단일 시스템으로 처리) 모델

╚ 전통적인 기계번역: 입력 문장 구문 분석 > 구조 추출 > 번역 수행

➁ 문장 구성 분석

영어 문장을 구문 분석 트리로 매핑하는 과정 > 문장을 반대로 뒤집으면 F1 score 증가하는 결과 얻어

➂ Convex hull 계산

각도에 따라 점들을 정렬 > 작업이 간단해져: O(n log n) > O(n)

학습 잘되고 빠른 결과 얻을 수 있음

=====그러니까 순서가 중요해=====

=====순서 정하기=====

1. 입력 시퀀스, 집합과 독립적인 순서(= 일정한 순서) 사용를 정의 (ex_ 번역 작업에서 문장을 반대로 뒤집어)

2. 입력에 따라 결졍되는 순서 정의 (ex_ convex hull 문제에서 점들을 정렬해)

====================

model << memory + computation

집합의 크기에 따라 증가하는 메모리 + 순서 불변성을 유지하는 특성

4.2 ATTENTION MECHANISMS

주소 지정 메커니즘을 가진메모리를 결합한 모델 > "content" based attention.

[Content based] 메모리 | 정보로부터 필요한 정보 선택적 추출, 입력 데이터의 content를 기준으로 어떤 정보를 선택할지

(데이터의 순서나 위치와는 독립적)

1. Query 생성: 입력 데이터 | 메모리에서 검색하려는 정보 나타내는 쿼리 벡터 생성

2. Key: Q, K 간의 유사도 계산 = 어텐션 스코어를 얻는다

3. 어텐션 스코어 확률 분포로 변환 > 어떤 정보를 어느 정도로 선택할 것인지

4. 가중 평균

╚ 메모리에서 얻은 벡터가 메모리를 무작위로 섞어도 변경되지 않는 특성

╚ 입력 집합을 처리하는데 중요!!

The Read-Process-and-Write model

i = memory vector m(i), 입력 크기와 같음

q(t): qeury vector 메모리에서 r(t)를 읽어

f: m(i), q(t) 에서 single sclar 계산(dot-product)

LSTM: 반복 상태 계산하지만 입력은 받지 X

q(t)*: LSTM이 발전하는 상태, q(t)와 어텐션 출력 결과 r(t)를 연결해 형성

t = processing stpes

m(i) 와 m(i)'를 바꾸더라도 r(t)에는 영향을 미치지 않는다.

READ, PROCESS, WRITE

논문에서 제안하는 모델의 3가지 구성 요소

❍ Reading block: 입력 요소 x(i)를 신경망 사용해 m(i)로 임베딩, 모든 i에 동일한 신경망 사용

❍ Process block: 입/출력 없이 T steps 동안 m(i)에서 계산 수행하는 LSTM, attention mechanism 사용

╚ m(i) 반복해서 읽어 상태 업데이트

╚ 블록의 마지막, hidden stae q(T)* 는 입력에 대해 permutation invariant 가지는 임베딩

❍ Write block: LSTM pointer network(paper)(blog)로 구성

╚ 출력을 생성하기 위한 context로 Process block에서 생성한 q*(T)가 주어진다

╚ context와 입력 집합의 메모리 벡터 m(i) 사이의 유사도를 계산해 원소 선택

╚ [기존] Pointer network = 포인터 자체를 손실 함수에 포함, 메모리 내의 특정 위치를 가리키도록 만들어

╚ 포인터 앞에 추가적인 어텐션(glimpse)

(L) Write block - LSTM pointer (R) Pointer network

➔ 입력 요소 X의 순서에 무관 = 집합으로 처리

출력이 고정된 dictionary가 아닌 입력을 가리키는 포인터이므로 LSTM이 아닌 Pointer Network를 사용

SORTING EXPERIMENT

seq2seq보다 효율적으로 처리하는지 확인하기 위한 실험 수행

❍ 입력 = 0 ~ 1 사이 N개의 부동 소수점

❍ 출력 = 정렬된 순서 (집합을 시퀀스로 정렬)

╚ Read: 각 숫자마다 multilayer perception

╚ Proceess: 읽은 숫자들에 대한 att mechanism

┖ 입력과 출력이 없는 LSTM으로 이루어진 T steps

┖ 입력 임베딩에 관여, 포인터 네트워크 사용 > 입력 숫자의 적절한 정렬된 순서의 인덱스 생성하기 위한 LSTM

❍ LSTM으로 이어진 vanilla seq2seq과 비교

┖ Ptr-Net 사용해 입력 숫자의 인덱스 만들어내는

===> 차이점: 집합 인코딩 방식

┖ LSTM (previous work): 입력을 순차적으로 처리

┖ 제안 모델: 입력 데이터 한번에 처리해 순서에 영향을 받지 않는다.

1000 training iterations, all models had converged, non overfitted

❍ 결과 (N 작업 크기 | P= Process step)

기본 Ptr-net 모델이 처리 단계가 없을 때(P=0) 더 좋은 결과

처리 단계 있으면 > Read-Process-and-Write 모델 성능이 좋아

Writing module with glimpses(attention mechanism prior to "pointing") 사용하는게 둘 다 효과적

5. OUTPUT SETS

ouptut representation:

확률 변수 집합 Y에 대한 joint probabilites 를 설명하는 chain rule > 조건부 독립과 같은 임의의 제한 내포하지 않는 간단한 decomposition

long range corrlation을 다룰 수 있는 모델 존재한다면 어떤 순서든 사전 정보 없이 작동해야 한다.

LSTM과 같은 모델을 사용하더라도 출력 순서는 여전히 ordering still plays a key role!!

왜????

5.1 OUTPUT ORDER MATTERS

집합 | 시퀀스 Y 원소 배열 순서가 seq2seq 모델 성능에 어떤 영향을 미치는가?

❍ Y 변수들의 임의 | 임의적이지 않은 순서 고려해 > 조건부 확률 분포 P(Y|X) 모델링

┖ 이론: chain rule 사용하는 경우 = 순서는 중요하지 X

┖ 목표: ordering of elements does indeed have an impact on the performance of the model

5.1.1 LANGUAGE MODELING

❍ Penn Tree Bank

┖ standard language modeling benchmark

┖ small dataset

┖ medium sized LSTMs with large amounts of regularization: 단어 시퀀스에 대한 확률 추정

┖ [orderings] natrual | reverse | fixed, 3-word reversal > 순서에 대해 다른 모델 훈련

❍ Results

┖ Natural & Reverse: match 86 perplexity

┖ 3-word reversal: 96 perplexity: 모델이 순서 처리하는데 어려움.. 혼동되는 순서가 선택되면 일부 저하 ㅇㅇ

❍ Perplexity: 언어 모델 평가 지표

모델이 특정 텍스트 데이터셋을 얼마나 잘 예측하는가, 일련의 단어/토큰들이 얼마나 예측 가능한지 측정

낮을수록 모델이 데이터셋의 다음 단어를 잘 예측할 수 있음 나타내

높을수록 모델이 데이터셋을 잘 모델링하지 못하거나 예측하기 어려움 의미

5.1.2 PARSING

Consituency parsing = 문장 입력받아 구문 분석 트리 생성

encoder LSTM > decoder LSTM > generate a depth first traversal encoding of parse tree && attention

++ Breadth first traversal 사용해 작은 모델 훈련(순서는 입력에 따라 다르다)

깊이 우선 = 89.5% F1 score

너비 우선 = 81.5% F1 score

==== 순서가 중요해^^

5.1.3 COMBINATIONAL PROBLEMS

tours, triangulations, etc 와 같은 비순차적인 데이터를 다룰 때, large equivalence class of solutions

== 주어진 문제에 대해 서로 다른 해결책이 모두 유효 | 최적일 수 있어

ex_ 무작위 숫자 집합 X의 정렬된 입력 인덱스를 출력하는 경우

- 어떤 순서로 출력할지 선택 가능

- 집합으로 처리 가능

== n! 개의 가능한 출력 (perfectly valid)

훈련 set가 이런 순열 중 하나를 무작위로 선택해 생성하면

동일한 입력 X에 대해 n! 개의 출력 구성에 동일한 확률 할당해야해..

[previous work]: 출력 class를 제한

❍ tour: started from lower index city > counter-clockwise ordring

❍ triangles: sorted in lexicographical order > move left to right

(출력을 제한하지 않으면 수렴 속도 훨씬 느려져)

5.1.4 GRAPHICAL MODELS

T개의 무작위 변수 집합에 대한 결합 확률 P(y1, ..., yT)

무작위 변수들에 대한 사전 정보가 없는 경우, 결합 확률을 모델링하는 방법 = chain rule 사용

(RNN과 비슷한 방식으로 모델링)

문장의 경우 = 단어의 순서 > 모델 내에서 무작위 변수의 순서를 정하는데 도움

이론상 - Bayes rule: 필요에 따라 모든 조건부 확률 재정렬 가능, order should not matter

=== 어쨌거나 one order is easier to modelr than another

❍ generated starlike graphical models

head 변수와 그에 따른 조건부 확률 주어저 > 다양한 조건 하에서의 확률 분포 모델링 > 최적의 변수 순서 결정

[Expect] head 변수로 시작하는 것이 더 쉬울 것

- random variable: 10 ~ 50

- training set size: 200 ~ 20000

- randomness

- peaky

[결과]

- traning set size = 20000, 어떤 순서로든 학습

- marginal distribution are very peaky: 어떤 순서로든 학습

- 다른 모든 경우: 최적의 무작위 변수 순서로 학습하는 것이 다른 순서로 학습하는 것보다 더 쉬워

=== 결국에 순서가 중요하다22

5.2 FINDING OPTIAML ORDEREING WHILE TRAINING

제안하는 모델 = 입력 집합을 다루기 위한 것

- 입력 순서를 바꾸더라도 불변성 유지하는 임베딩 얻을 수 O

- 입력 집합에 대해 수행할 계산 종류 다룰 수 O

확률 변수 y1, ..., yn에 대한 joint probability를 구성하는 것은 함수 구조가 알려지지 않은 경우 어려워

RNN을 통해 해결 가능 > chain rule > decompose joint probabilty

[drawback] Chain rule

y1, .., yn을 집합으로 다루는 주장 위반 > 확률 변수들을 특정한 순서로 조건부화 한다는 것 의미

= LSTM을 사용한 결합 확률의 매개변수화

= non-convex nature of optimization problem 때문

┖ 목적 함수의 지역 최소값이 전역 최소값과 달라

┖ 초기 조건에 민감하게 변동 | 기울기가 급격하게 변하는 부분에서 수렴하기 어려움

[drawback: proposed solution]

- 모델이 훈련하는 동안 어떤 순서가 가장 적합한지 결정하도록

- 가장 간단하게 작업을 단순화 하는 순서 π(X)가 존재한다고 가정

- p(Yπ(X)|X), 가능한 순서의 수는 n! (n=출력 길이), 최적의 순서는 사전에 알려지지 X

n! 매우 큰 값 > 훈련 동안 근사적인 탐색 시도 > 로그 확률을 최대화, training pair 에 대한 maximize

각 순서에 대한 작업 수행 > 가장 좋은 순서 찾아내 최적 결과 얻어

❍ 초기 파라미터 영향 > 무작위 순서 선택 후 머무르는 문제 존재

┖ 모델을 균일한 사전 분포로 1000 step 사전 훈련

┖ p(Yπ(X)|X)에 비례하는 분포에 따라 π(X) 샘플링 > 순서 선택: 모델 평가 O(n!) -> O(1) 필요

┖ 효율적인 샘플링: anceestral sampling(left-to-right) > p(.)을 n! 대신 한번만 평가

5.2.1 5-GRAM MODELING

해결하기 위한 시도 > 언어 모델링 작업의 간소화된 버전

추가적인 context 없이 5-gram 결합 확률 모델링: 입력 X 없음

n! 개의 가능한 순서 중에서 최상의 순서 찾기 >

5-gram (sequence): y1=This, y2=is, y3=a, y4=five, y5=gram

5-gram (set): y1=(This,1), y2=(is,2), y3=(a,3), y4=(five,4), y5=(gram,5) 위치를 단어와 함께 추가하면 Y는 집합이 된다

시퀀스 구조 잃지 않고 임의로 Y shuffle 가능

natural order: perplexity 225.2

(5,1,3,4,2) order: perplexity 280 (안좋음)

❍ optimization

┖ Easy: (1,2,3,4,5) | (5,1,3,4,2) 에서 균일하게 추출된 exmaple

┖ Hard: 5! 개의 가능한 순서에 대한 example

6. CONCLUSION

LSTM은 가변 길이의 시퀀스 데이터를 효과적으로 표현 가능

- Long term dependencies 처리 능력: gradient vanishing 문제 해결, 모델 성능 향상

- chaing rule 이용해 복잡한 변수 확률 분포를 조건부 확률 곱으로 분해 가능

❍ input | output 이 순서가 없는 집합의 경우로 표현되는 경우

LSTM에 입력 가능한 순차적인 linearized 형태로 만들어야 한다.

❍ order matters to obtain the best performance.

┖ 순서가 없는 입력 데이터의 경우: Read-Process-and-Write architecture 제안

┖ 순서가 없는 출력 데이터의 경우: efficient training algorithm ↞ training | inference 중 가능한 순서 탐색

❍ sorting | graphical model | langugae model | parseing 에서 입력 및 출력 집합에 대한 실험 통해 설명

[공유 세미나] 2023 상반기 학회

오모짱_ — Fri, 18 Aug 2023 16:00:11 +0900

CVPR - Detecting Everything in the open World: Towards universal object detection

Everything | Open World | Universal

image + text 공간의 alignment > multiple sources & heterogeneous label space image

Open World

└ Unseen classes: Open-vocabulary object detection

└ Various domains: Object detection in the Wild

partitioned label space의 성능이 가장 좋음

ROI Head 추가

AAAI - SWL -Adapt: An unsupervised domain adaptation model with sample weight learning for corss-user wearable human activity recognition

Feature extractor | Domain discriminator | Classifier | + Weight Allocator

automatically fit task-specific weighting functions

ICML 2023 Conference

❍ Expo: Talk Panel: Colossal-AI: Breakthroughs in Efficient AI

┗ 3 layer(Efficient Memory system | 2-dim parallelism system | Large-scale Optimizaion) 딥러닝 모델 학습 효과적 진행 도와줌

❍ Tutorials

┗ Tutorial on Multimodal Machine Learning: Principles, Challenges and Open Questions (link)

┗ How to DP-fy ML: A Practical Tutorial to Machine Learning with Differential Privacy (link)

❍ Fairness/Ethical AI

┗ Learning Fair representations (link)

1. Learning-Rate-Free Learning by D-Adaptation (paper) (github)

- Distance-to-solution의 LB를 가지고, step size 자동 조절 알고리즘 제시

- SGD, AdaGrad and Adam 적용

2. A Watermark for Large Language Models (paper) (github)

- LLM 모델 | 사람의 응답을 구별하기 위한 Watermark 방법론

- 재학습 필요 X

3. Generative Casual Representation Learning for Out-of-Distribution Motion Forecasting (paper) (github)

- 동작 예측 > domain 변화에 강한 예측기 제안

4. Motion Question Answering via Modular Motion Programs (link)

- motion feature 추출, 선후 관계에 대한 학습 > 동작에 대한 Q&A 가능

5. Masked Trajectory Models for Prediction, Representation, and Control (link)

- 강인제어 문제에 MTM(Maksed Trajectory Modeling)

MTM learns versatile networks that can take on different roles or capabilities, by simply choosing appropriate masks at inference time

CVPR - Conditional Generation of Audio from Video via Foley Analogies

Foley = sound effects

"generate a soundtrack for an input silent video from a user-provided conditional audio-visual example"

learn to adapt the exaemplar sound to match the timeing of the visual content of a silentt video

❍ Conditional Foley generation - Transformer

❍ Vector-quantized audio representation - VOGAN

❍ Video input representation

❍ Conditional audio representation: vector quntized embeddings

❍ Combine tokends into a single sequence

❍ Model training

❍ Autoregressive sound prediction

❍ Generating a waveform

❍ Re-ranking based on audio-visual synchronization

[미해결] [Unreal] Motion Capture Data | Visualizing with UE5

오모짱_ — Fri, 18 Aug 2023 12:39:29 +0900

Matching Bones: Model data and Character

센서에서 얻은 데이터 이름과 unreal 캐릭터의 bone matching

udp 서버에서 데이터프레임 만들어 unreal 형식에 맞춰서 전송

UDP Message Printing

CONNECT : 'UDPRecivedEvent' -> 'Print String' node

'Printing String' node ➝ screen/console 출력 option 선택 가능

Get Array Field: return value: num = 22

☑ return value 20 ➝ 22 (add shoulder skeleton)

센서 shoulder == 캐릭터 clavicle 로 조정했는데 잘 모르겠음 (수정)

☑ sensor = { name , oriientation { roll, ptich, yaw } }

Character: Animation (use animation blueprint)

1. 변수 추가: 각 Bone에 해당하는 로테이터 생성

2. bone transform (modify) 노드 추가

3. bone transform node의 rotation과 로테이터 연결

bone transform (modify) > detail > ratation

* rotation mode: add to existing or replace existing

* rotation space: (잘 모르겠음)

- world space: set the value relative to world origin.

- component sapce: relative to skeletal mesh component

- parent bone: relative to the parent bone

- bone sapce: relative to bone's transform in the input pose.

☑ Rotator의 default value 수정 가능

* arm: 0, 0. 0 의 기본 자세 = T-pose

* pelvis ~ head: y 축 보정 필요

☑ euler or quaternion value

* 0, 0, 0 이 T-pose 라고 하면 ?? 수집한 Euler T-pose 데이터 의 quanternion 값 사용해야 해

일단 python: udp server: euler to quaternioin library 사용해 변환

☑ degree or radian ??

☑ x = roll | y = pitch | z = yaw 맞는지 확인

euler 값 그대로 전송하면 캐릭터가 움직일거라고 생각했지만 축이 이따구로 휘어지는 문제 발생

☑ unreal 자체에서 default 값 수정 or 서버에서 보낼때 보정해서 보내주기

- unreal default 수정: 결과 원하는대로 안나옴 ➝ 뭐가 문제인지 모르겠음

- 서버에서 값 보정: 동/서/남/북 데이터에 따라 축 뒤틀림^^

[1]

[2]

~~☑ 이게 문제가 아닌 것 같다..~~

UDP Controller BP: Add Rotator SET

'UDPController_Human' Blue print의 ThridPerson_AnimBP 형변환 노드에서 새로운 노드를 추가

'ThirdPerson_AnimBP'에서 생성한 변수를 추가

☑ 센서에서 얻은 모든 bone 데이터 연결 & 흐름 확인

☑ 삽질 ing (2023.08.02)

데이터 하나 잡고 끝나는건가.. 값 변화 없음^^

근데 콘솔에서는 계속해서 값 들어오는거 확인?

count 값으로 제대로 들어가고 있는건지 확인 > time.sleep(1) 변화 관찰

1초마다 캐릭터가 회전하기는 하는데.. 그럼 뭐가 문제? ^^

Rotator 값 Screen에 찍어봐도 변화하는거 확인

❍ Character BP, UDP controller BP 축 방향 설정

UDP Controller Human

데이터셋에서 얻은 y=ptich / x=roll 값들이 unreal engine에서 반대인 듯

캐릭터 Animation BP 에서 Rotator에 전송되는 값들로 바뀌도록 만들고 싶으니까 opiton = replace existing

(add to existing 이면 캐릭터 끝도 없이 회전하는 문제 발생)

Character Animation BluePrint > Character > bones > all hierarchy

각 bone들이 어떻게 연결되어 있는지를 나타내는 것 = "Rig"

skeleton은 이렇게 뼈대 구조 목록과 각 bone들이 어떻게 연결되어 있는지에 대한 정보 들어있다.

☑ Skeleton 범위 벗어난 ik_hand / ik_foot 때문인가 싶었는데 아닌듯

☑ 데이터 수집 (2023.08.02)

.bvh 파일 확인하기 (link)

N-Pose / T-Pose 로 calibration 후 여러 개의 pose data 수집

Xsens로 얻은 .mvn > .xlsx 로 변환 후 캐릭터에서 확인

.bvh 파일 분석

수집한 데이터 xlsx 사용하지 않고 bvh 정보 사용하기

이전보다 의미 있는 결과가 나오나 여전히 수집한 데이터와는 일치하지 않음

➔ 원인 파악 안됨

☑ udp_server.py 에서 bone 종류마다 값을 보정해서 보내주기

각각의 bone 마다 추가적으로 값 더해서 보내주는 방법 시도

┖ 동/서/남/북 에 따라 보정값이 달라져야 한다..

┖ 이렇게까지 해야 할 이유가 있을까? → 다른 방법 찾아보기

┖ 이렇게 보내는거나 bp에서 default 값 설정하는 거나 비슷한거 아닌가

☑ Character Animation BP 설정 변화 시도

여러 방법으로 시도해봤지만 > 원하는 결과 ? 안나옴

☑ NEXT..?

❍ C++ 단계부터 시작하기

┖ BP 쓰는 것 보다 훨씬 직관적? 으로 구현할 수 있을 것 같긴 한데

┖→ 그럼 어디서부터 시작해야되지

❍ 다른 Insight 생기기 전까지 잠시.. Bye

┖ 너무 오래동안 잡고있는 듯한 느낌

❍ Window > world settings > Gamemode override: thridperson gamemode 선택

플레이어는 character calss 상속

┖ 기본 컴포넌트로 CHARACTER MOVEMENT

┖ (일반적: 인간형) 루트 컴포넌트로 캡슐 콜리전, 현재 어느쪽을 향하고 있는지 알려주는 애로우 컴포넌트

┖ 기본적으로 character class 가 상속받는 것으로 삭제 불가능

┖ 캐릭터 외관 설정 > 스켈레탈메시 컴포넌트 > SK_Mannequin

[ERROR]

☁ UDP Socket Plugin + Version Crash

Assertion failed: Socket != nullptr [File:E:\Media\Epic Games\UE_5.1\Engine\Source\Runtime\Networking\Public\Common\UdpSocketReceiver.h] [Line: 53]

UnrealEditor_UDPWrapper
UnrealEditor_UDPWrapper
UnrealEditor_CoreUObject
UnrealEditor_CoreUObject
UnrealEditor_CoreUObject
UnrealEditor_CoreUObject
UnrealEditor_CoreUObject
UnrealEditor_CoreUObject
UnrealEditor_CoreUObject
UnrealEditor_CoreUObject
UnrealEditor_CoreUObject
UnrealEditor_CoreUObject
UnrealEditor_CoreUObject
UnrealEditor_Engine
UnrealEditor_Engine
UnrealEditor_Engine
UnrealEditor_Engine
UnrealEditor_Engine
UnrealEditor_Engine
UnrealEditor_Engine
UnrealEditor_UnrealEd
UnrealEditor_UnrealEd
UnrealEditor_UnrealEd
UnrealEditor_UnrealEd
UnrealEditor_UnrealEd
UnrealEditor_UnrealEd
UnrealEditor_UnrealEd
UnrealEditor_UnrealEd
UnrealEditor
UnrealEditor
UnrealEditor
UnrealEditor
UnrealEditor
UnrealEditor
kernel32
ntdll

☁ [project name] could not be compiled. Try rebuilding from source manually.

UDPWrapper 가 Unreal 4 버전만 있어서 소스를 빌드해 사용했지만 현재 5.1 버전에 해당하는게 있다.

그치만 뭔가 안맞는지 실행할때마다 자꾸 죽어버리는 프로그램

☞ Visual Studio Installer > C++ 사용한 데스크톱 개발 / .NET 데스크톱 개발 설정 확인

☞ 컴퓨터 재시동..

☞ 될 때까지 계속 실행시키면 가끔 켜질 때도 있음

☞ 저장/컴파일 하기 전에 뭐 순서에 맞게 빌드해줘야된다는 글을 봤는데 >> 잘 모르겠음

☞ 프로젝트 파일 Saved, Intermediate 폴더 삭제 후 재실행 >> 된다는 사람도 있던데..

[REFERENCE]

❍ ref_video

❍ docs1

❍ Absolute / perfect orientation out of IMU (video)

❍ MVN Plugin (video)

[Python] configparser

오모짱_ — Fri, 18 Aug 2023 10:31:38 +0900

개발 환경이나 사용자에 따른 설정 파일 만들기

1. configparser > create config file

import configparser

# config file
config = configparser.ConfigParser() 

# create config file object
config['system'] = {}
config['system']['title'] = 'Neural Networks'
config['system']['version'] = '0.0.1'

config 파일 생성 > config['object name'] = {} 으로 섹션 생성

데이터 값은 문자열로만 저장 > 읽고 쓰는 과정에서 전처리 필요

2. config 파일 저장 후 읽기

# save
with open('config.ini', 'w', encoding='utf-8') as configfile:
	config.write(configfile)
   
# read
config = configparser.ConfigParser()
config.read('config.ini', encoding='utf-8')

# section 확인
config.sections()

# read section
var = config['system']['version']
title = config['system']['title']

print(title, var)

다양한 설정 파일 읽고 쓰고 불러오기

┗ 내용 수정은 읽기로 불러와서 config 만들기 과정 반복

import configparser
from time import strtime

def config_generator():
	config = configparser.Configparser()
    
    config['system'] = {}
    config['system']['title'] = 'Neural Networks'
    config['system']['version'] = '0.0.1'
    config['system']['update'] = starttime('%Y-%m-%d %H:%M:%S')
    
    config['image'] = {}
    config['image']['width'] = '640'
    config['image']['height'] = '480'
    config['image']['type'] = 'png'
    
 	with open('config.ini', 'w', encoding='utf-8') as configfile:
    	config.write(configfile)
 
 
def config_read():
	config = configparser.ConfigParser()
    config.reaD('config.ini', encoding='utf-8')
    
    version_read(config)

def version_read():
	ver = config['system']['verison']
    title = config['system']['title']
    
    print(title, ver)

if __name__=="__main__":
	
    config_generator()
    config_read()

Attention Is All You Need

오모짱_ — Tue, 15 Aug 2023 22:39:37 +0900

논문: Attention Is All You Need

Attention

RNN ➝ LSTM ➝ Seq2Seq ➝ Attention ➝ Transformer ➝ ...

☑ 기존 Sequence model의 문제점

┕ RNN의 sequential 특징: 입/출력 sequence token(symbol) 위치 따라 연산

이전 step h(t-1)과 현재 입력 t로 h(t) 시퀀스 생성 ➔ parellelization 불가능, 메모리 제약..

┕ 시퀀스 길이가 길어질수록 병렬화 중요해

┕ 입력 문장을 하나의 context vector c로 압축 ➔ bottle neck 원인

┕ RNN cell에서 참고하도록 만들어 성능 개선 가능 ➔ 문장이 길어져도 손실 정도 줄일 수 있지만, 여전히 병목 현상 문제..

┕ 출력 할 때마다 입력 문장을 참고하도록 개선 (Neural Machine Translation by Jointly Learning Align and Translate)

☑ Transformer

┕ RNN / CNN 없이 오직 Attention 만 사용해서 개선

Model Architecture

(Encoder-Decoder)

Encoder

1. Input Embedding & Positional Encoding

- input token 을 d(model) 차원 벡터로 변환하기 위한 임베딩 과정

- sequence data를 처리하기 위해서 순서에 대한 정보 필요

┕ 기존 RNN 사용 시, 위치에 대한 정보 제공 O ➔ RNN을 사용하지 X ??? ➔ Positional Encoding

❍ RNN 사용 O:

┖ 인코더 (LSTM, RNN)를 고정된 크기로 사용

┖ 입력 단어 개수만큼 인코더 레이어 거쳐 매번 hidden state 만들어

↔ 입력 단어 자체가 하나로 연결되어 한번에 입력되어 attention 구해

중간에 context vector로 압축하는 과정 생략네트워크 자체에서 LSTM 같은 RNN 구조를 사용할 필요 없다

- 주기 함수 활용한 공식 사용

┕ 정해진 함수 사용하지 X, 위치에 대한 임베딩 값을 학습하도록 만들어 네트워크에 넣을 수 O

┕ 논문: sin() 사용

2. Multi-Head Attention ➔ Add & Norm

-입력 문장 각 단어에 대해 self-attention

┕ Q, K, V 모두 인코더의 값, 각 position은 그 전 layer의 모든 position 참조

== 어떤 한 단어와 모든 단어 사이의 연관성 학습

- Residual learning

┕ 전반적인 학습 난이도 낮추고 초기 모델 속도 올려

3. FeedForward ➔ Add & Norm

- Attention layer와 함께 Fully connected feed-forward network 사용

- ReLU activation 있는 2개의 선형 변환으로 구성

┕ position에 대해서 동일 | 각 층마다 다른 param(W1, W2) 사용 ➔ kenel size = 1 인 2 개의 convolution ??

(input, output 차원은 512, hidden layer dim = 2048)

➔ N 개의 encoder layer 중첩해 사용

Decoder

1. Masked Multi-Head Attention

(Decoder 파트의 self-attention)

┕ sequence model의 auto-regressive property 보존 ➔ masking vector 사용해 이전 단어들만 참조하도록

(이전 단계의 출력을 사용하여 다음 단계의 출력 생성하는 특성)

┕ sclaed-dot product 에서 softmax의 input value 중 illegal connection 해당하는 값을 -∞로 설정

2. Encoder - Decoder Attention

- Q는 디코더, K & V는 인코더의 출력값에서 가져와

- 디코더의 벡터로 인코더의 모든 position 값 참조 ➔ 디코더의 sequence vector가 인코더와 어떤 연관성을 가지는지 학습

3. Feed-Forward ➔ Add & Norm

4. Linear ➔ Softmax ➔ Output Probabilities

Multi-Head Attention

- 어떤 단어(Q)가 다른 단어(Key)에 대해 연관성을 가지는가?

- Q, K, V를 h번 linear layer를 거쳐 병렬적으로 scaled-dot product attention

❍ 일반적으로 사용되는 additive attention | dot-product(multiplicative) attention

┕ 보다 빠르고 공간 효율적

Scaled Dot-Product

: 내적 연산은 고속 처리 가능 -> 다른 attention 방법보다 빠르다

: 정규화를 위한 scaling, 내적 연산을 통해 계산된 유사도 정규화 | 내적 연산 결과의 차원 수로 나누어 scaling

가중치의 분산 조절해 학습 안정화, 성능 향상

: 병렬 처리 가능 => 입력 시퀀스의 각 단어 사이 독립적 계산 가능

: 다양한 입력 시퀀스의 길이 처리 가능 (입력 길이에 대한 제한이 없다)

❍ Dot-Product Attention

❍ Additive Attention

Q, K 결합 후, 학습 가능한 가중치 행렬 적용 > 활성화 함수 > att score 계산

❍ Multi-Head Attention

- 여러개의 독립적인 att 병렬 수행 후 결합

- Scaled Dot-Product att 기반

Self-Attention

각 원소와 다른 원소들과의 관련성 계산 메커니즘

(논문에서 기대하는 효과)

1. layer 당 전체 계산 복잡도

2. sequential parallelize

3. network: long-range dependency

┕ input | output sequence position 조합 간의 path가 짧을수록, long-range dependency 학습하기 쉬움

+ more interpretable model O

Training

❍ English-German

┕ WMT 2014 English-German Dataset

┕ 4.5 million sentence pairs

┕ byte-pair encoding

❍ English-French

┕ WMT 2014 English-French Dataset

┕ 36M sentences & word=piece vocabulary tokens

❍ 8 NVIDIA P100 GPU

❍ Adam optimizer

❍ Regularization

┕ sub-layer output: dropout

┕ embedding & positional encoding: dropout

┕ 학습 중 label smoothing

Conclusion

- Encoder-Decoder 구조에서 일반적으로 사용되는 RNN layer ➔ multi-headed self-attention으로 대체

- Attention을 전적으로 사용하는 최초의 시퀀스 변환 모델 'Transformer' 제시

[ref] github

[Python] 실행파일(.exe) 만들기 | pyinstaller

오모짱_ — Fri, 11 Aug 2023 17:20:00 +0900

❍ pyinstaller

파이썬 코드를 실행 파일 형태로 패키징하여 사용자가 별도의 python interpreter 없이 해당 프로그램 실행할 수 있도록한다.

pip 통해 설치

pip install pyinstaller

- pyinstaller 사용하기 위해 프로그램에 필요한 라이브러리와 종속성 설치 필요

- pip로 설치할 경우, 일부 패키지 누락 가능 > 수동으로 패키지 설치 필요

(pathlib 모듈이 설치된 경우, pyinstaller 가 설치되지 않거나 실행되지 않음 > 새로운 가상환경 만들어 pyinstaller 환경 설정)

❍ .py > .exe

해당 경로로 이동 후 명령어 수행

pyinstaller [File].py

┖ build

┖ dist

┖ main.spec

실행 파일은 dist 폴더의 .py 파일 명으로 된 폴더에서 찾을 수 있다.

❍ Options [link]

	-option
pyinstaller -w [File].py	-w \| --windowed	Console 창 출력 X
pyinstaller -F [File].py	-F	exe 파일만 생성 (큰 스케일의 프로그램의 경우 오래걸려)
pyinstaller -n [NewFile].exe [File].py	-n	이름 지정 (해당 옵션 사용하지 않으면 .py 이름으로 생성)
pyinstaller --icon=icon.ico [File].py	--icon	아이콘 설정 (아이콘 파일은 스크립드와 같은 폴더에 존재)
pyinstaller -d [File].py	-d	debug 모드로 프로그램 생성

[Mac] M1 | Unreal Engine 5 | Xcode

오모짱_ — Thu, 10 Aug 2023 11:07:04 +0900

Xcode

Metal compilder에 대한 Xcode 설치를 찾을 수 없습니다.

나한테 왜그래..

1. Xcode 없으면 설치

2. 실행 > 앱스토어에서 업데이트

Xcode > Preferences > Locations > Command Line Tools 변경

Terminal

sudo xcode-select -s /Applications/Xcode.app/Contents/Developer

실행은 되는데 35%에서 진행 안하는데 이게 맞나 (15분째 제자리)

발열 심해지면 그냥 죽여버릴까

20분..

75%에서 컴퓨터 터질 것 같더니 잘 실행된다^^

[Pytorch] Implement GEDGNN

오모짱_ — Tue, 8 Aug 2023 22:58:02 +0900

차근차근

GED: G1 -> G2 변환하기 위해 필요한 기본 작업의 최소 횟수 결정하기

= A* beam sesarch

= greedy algorithms: bipartite matching

GED problem을 0과 1 사이의 SIMILARITY SCORE 로 변환하는 방식으로 접근.

> model 은 편집 경로를 생성할 능력이 X

=====그럼 어떻게 해결?

1. charge of predicting the GED Value and matching matrix

2. post-processing algorithm based on k-best matching

- k 개의 가능한 노드 매칭 도출

===== 비교는?

기존 GNN 기반 모델들과 비교해 MAE

SOTA searching algoritm: Noah 와 비교

A* beam-search

- uses an extra parameter beamsize to control the maximum number of nodes

beam size를 사용해 a* 알고리즘과 비교해 큐 내의 노드의 최대 개수 제어

Greedy function

- invoke the greedy function to estimate the cost of matching one node in the src graph to target graph

- 일치한 노드 쌍의 추정 비교를 더해 GED 계산 단순화

GNN 기반

- graph 쌍의 embedding 생성

- MLP 입력해 GED 예측 값 얻어

- [limitation] cannot gnerate edit path

===== PROPOSE A NOVEL DEEP LEARNING FRAMEWORK: SOLVE GED problem

1. model: GEDGNN

- predicts a GED value

- predicts a matching matrix by the cross matrix module

= matching matrix의 값들은 0과 1사이의 값, 노드 쌍이 얼마나 일치해야 하는지 정도

2. post-processing algorithm

- GEDGNN이 생성한 matching matrix > 여러 개의 노드 매칭 도출 > edit path 생성

- k-best 이용

DEFINITIONS

★ G = (V, E, L): G1, G2 에 대한 operation

1. edge 추가 / 제거

2. node 추가 / 제거

3. node의 label 변경

★ Graph Edit Path: G1 ➡ G2 로 변환하는 operation (o(1), ... o(k))

k는 GED(G1, G2) 보다 크거나 같으며, 최소 길이가 결국 GED

★ Bipartite Graph

main

┖ Trainer(args)

┖ load_data()

┖ utils.py: load_all_graphs() | train, val, test, graphs 에 대한 정보 load

┖ label에 대한 정보 load

┖ ged_dict

┖ utils.py: load_ged()

┖ged = [(id_1, id_2, ged_value, ged_nc, ged_in, ged_ie, [best_node_mapping])]

ged_value = nc+ in + ed

┖ transfer_data_to_torch()

┖ edge에 대한 index[], feature tensor

┖ 그래프 mapping matrix (n x n)

┖ features = [torch.tensor(x) x를 tensor로 copy]

┖ ~~delta_graph : node 수가 10개 이상인 그래프에 대한 처리로 생략~~

┖ init_graph_pairs()

┖ train / val / test 에 대한 그래프 정보

Generate 465 training graph pairs.
Generate 10 * 100 val graph pairs.
Generate 10 * 100 testing graph pairs.
Generate 10 * 100 testing2 graph pairs.

┖ setup_model()

┖ self.model = NNN(self.args, self.number_of_labels).to(self.device)

┖ trainer.fit()

┖ optimizer = Adam

┖ model.train()

┖ epoch에 대해서

┖ batches = training 그래프에 대해 random shuffle

┖ loss 계산

┖ prediction analysis : (pre_ged - ground-truth) array가 parameter로 주어진다

┖ result append(저장)

┖ trainer.save()

┖ torch.save(): model 상태, tensor를 파일로 저장

┖ trainer.score()

┖ moedl.eval()

┖ mse, mae, number_of_exact_prediciton, number_of_feasible_prediction

┖ rho, tau, pk10, pk20

┖ 10개의 testing graph에 대해

┖ pack_graph_pair( (pair_type, i, j) ) # id_1, id_2

┖ 새로운 tensor dict return

Model

class NNN(torch.nn.Module):

__init__

┖ agrs

┖ number_labels

┖ setup_layers()

❍ setup_layers(): gin

┖ nn1

┖ Linear

┖ ReLU

┖ Linear

┖ BatchNorm1d

┖ nn2

┖ nn3

┖ convolution_1 = GINConv(nn1)

┖ convolution_2

┖ convolution_3

"""

┖ energy value

┖ attention value

"""

mapMatrix, costMatrix 계산:

┖ GedMatrixModule

┖ d: input feature, k: hidden layer size

┖ init_weight_matrix()

┖ torch.nn.Parameter(torch.Tensor()) 학습 가능한 파라미터

┖ torch.nn.init.xavier_uniform: 가중치 행렬 초기화

┖ init_mlp(): k > 2k > k > 1

┖ layers.append( torch.nn.Linear(k, k * 2) )

┖ layers.append( torch.nn.ReLU )

┖ layers.append( torch.nn.Linear(k * 2, k) )

┖ layers.append( torch.nn.ReLU )

┖ layers.append( torch.nn.Linear(k, 1) )

┖ mlp = torch.nn.Sequential(*layers)

┖ forward(embedding_1, embedding_2):

┖ return similar matrix

❍ forward(data = dictionary):

┖ abstrac_features_1 = convolutional_pass(index_1, features_1) # 노드 임베딩 결과

┖ convolutional_pass(edge_index, features):

┖ features = self.convolution_1(features, edge_index)

┖ = torch.nn.fucntional.relu

┖ = torch.nn.fucntional.dropout

┖ = self.convolution_2

┖ = self.convolution_3

┖ cost_matrix

┖ map_matrix 계산

"""

calculate ged using map_matrix

Softmax(dim=1)

bias_value

┖ pooled_features = attention

┖ scores = fully_connected XXX

score = sigmoid

"""

return score, pre_ged.item(), map_matrix

PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space

오모짱_ — Sun, 30 Jul 2023 17:00:39 +0900

[ 2023.07 ] 이해 X..

논문: PointNet++: Deep Hierarchical Feature Learning onPoint Sets in a Metric Space

❍ Charles R. Qi: 인공지능과 컴퓨터 비전 분야의 연구자

❍ Li Yi: 컴퓨터 비전, 그래픽스 분야의 연구자

❍ Hao Su: 컴퓨터 비전, 그래픽스 분야의 연구자

❍ Leonidas J. Guibas: 그래프 이론, 기하학 등에 대한 기여로 널리 알려짐.

=> 딥러닝과 기하학 융합한 3D 모델의 생성, 분류. 등 다양한 알고리즘 개발, 연구 수행

[포인트 클라우드 데이터를 다루기 위한 딥러닝 방법 제안, 3D 모델의 분류 및 세그멘테이션 작업에 효과적으로 적용]

Abstract

집합에 대한 이전 연구(Point Net)

=> 점들이 존재하는 공간의 지역적 구조 not capture => 미세한 패턴 인식하거나 복잡한 장면에 대한 일반화 능력이 제한된다

본 논문은 입력 집합을 계층적으로 분할해 PointNet을 반복적으로 적용하는 신경망 제안.

Exploting metric space distance: 제안하는 신경망은 지역적 특징을 학습할 수 있다. = 집합의 세부적인 패턴을 학습하고 일반화 능력 향상

❍ 집합: 일반적으로 다양한 밀도로 샘플링되기 때문에 균일한 밀도로 훈련된 네트워크의 성능이 크게 감소

주어진 공간 내에서 점들이 서로 다른 간격으로 배치되는 것, EX) 3D 공간에 점들이 분포할 때, 일부 지역에서는 점들이 매우 가깝게 모여있지만, 다른 지역에서는 멀리 떨어져 있을 수 있어 => 일정한 간격으로 샘플링 되기 어려워

실험 결과 PointNet++ 는 점 집합 특징을 학습할 수 있다.

Results significantly better than state-of-the-art have been obtained on challenging benchmarks of 3D point cloud.

1. Introduction

PointNet: 점 집합을 직접 처리

각 점에 대해 spatial encoding 학습 -> aggregate 모든 점들의 특징 -> global point cloud signiture로 모아

한계: local structure induced by the metric 포착하지 못해

local structure dms CNN에 중요한 요소, 계층 구조를 통해 지역적 패턴 추상화 -> 새로운 경우에 더 나은 일반화 능력을 얻는다

PointNet++

metric space에서 샘플링된 점들을 계층적으로 처리하는 신경망

(1) partition the set of points into overlapping local regions (by distance metric)

CNN과 비슷하게 작은 이웃 지역에서 local feature 추출 => 큰 유닛으로 그룹화 되고 높은 수준의 특징 생성

=> 전체 집합의 특징을 얻을 때까지 반복

1. how to generate the partitioning of the point set

2. how to abstract sets of points or local features through a local feature learner

집합의 분할은 local feature learner의 가중치를 공유할 수 있어야 해 <-> CNN 과 유사하게 동작

PointNet: abstracts sets of local points or features into higher-level representations

Pointnet++: 입력 집합을 중첩된 분할에 대해 재귀적으로 PointNet 적용

-> 3D point cloud 같은 비정형 데이터에 효과적

‍♀️ how to generate overlapping partitioning of a point set

각 partition은 유클리드 공간에서 이웃으로 정의, 중심 거리와 크기를 매개변수로 가짐

전체 집합을 커버하기 위해 중심 위치(centroid)들은 input 집합 중에서 FPS: Farthest Point Sampling 알고리즘 에 의해 선택된다.

고정된 stride로 공간을 스캔하는 volumetric CNN과 달리 <-> local receptive field는 입력 데이터와 metric에 dependent.

>> local receptive field를 유연하게 설정 가능

적절한 이웃 반경의 크기를 결정하는 것 어려워 <= entanglemnet of feature scale 과 입력 집합의 non-uniformity 때문에

>> input point set은 다른 지역에서 가변적인 밀도를 가질 수 있다고 가정

Figure 1: Visualization of a scan captured from a Structure Sensor (left: RGB; right: point cloud).

CNN에서 local partition scale는 kernel 크기이다. 작은 kernel을 사용하는 것이 성능 향상에 도움.

논문에서 수행한 집합 데이터는 이와 대조적인 결과.

작은 neighborhood는 샘플링 결함으로 인해 너무 작은 점들로 구성되, PointNet이 패턴을 포착하는데 어려움

[Contribution]

- leverages neighborhoods at multiple scales to achieve both robustness and detail capture.

다중 스케일 이웃을 활용해 robustness와 세부 정보 캡처 달성

- 훈련 중 무작위 dropout: 네트워크는 다른 스케일에서 감지된 패턴 적응적으로 가중치 부여, 입력 데이터에 따라 다중 스케일 특징을 결합하는 방법 학습

=> Process point sets efficiently and robustly. 특히 3D point cloud에서 크게 차이나는 결과

2. Problem Statement

3. Method

PointNet + 계층 구조 = non-uniformly sampled point set에서도 특징 잘 학습 가능

3.1 Review of PointNet [20]: A Universal Continuous Set Function Approximator

집합 함수 f: 점들의 집합을 벡터로 매핑, 순서 무관하게 임의의 연속 집함 함수 근사

γ, h: multi-layer perception (MLP): h=wjadml rhdrks dlszheld

PointNet은 다양한 스케일의 local context 포착하는 능력 부족 => 계층적 특징 학습 프레임워크 소개

Figure 2

3.2 Hierarchical Point Set Feature Learning

PointNet: 전체 점 집합을 집계하기 위해 single max pooling operation 사용

-> 점들을 계층적으로 그룹화 -> 점진적으로 더 큰 local region으로 추상화

Fig 2. 와 같이 여러 개의 집합 추상화 수준으로 구성. 각 level에서 점 집합 처리/추상화

-> 더 적은 요소를 가지는 새로운 집합 생성

-> 추상화 수준은 sampling layer, grouping laver, PointNet layer

(1) Sampling layer

입력 점들로부터 일부 점 선택 -> 지역 영역의 centroid 정의

입력 점들이 주어졌을 때 FPS 사용해 하위 집합 선택

<-> 랜덤 샘플링과 비교 | 같은 수의 중심점이 주어졌을 때 더 나은 커버리지

데이터에 종속적인 방식으로 receptive field 생성

(2) Grouping layer

constructs local region sets: 이웃 점들을 찾아 local region set 구성

해당 layer의 출력은 점 집합을 N'개의 로컬 영역으로 그룹화 한 것.

각 그룹의 중심점 주변의 K개의 점으로 구성, d 차원 좌표와 C 차원의 특징 가져

PointNet layer에서 로컬 영역 특징을 고정 길이 벡터로 변환해 처리한다.

=> PointNet++ 은 다양한 크기와 구성의 로컬 영역 다룰 수 있고 입력 데이터에 유연한 특징 추출 가능

* CNN에서 local region은 해당 픽셀로부터 일정한 Manhattan distance(kernel size) 내의 배열 인덱스 갖는 픽셀로 구성

* Point set sampled from a metric space: 이웃은 metric distance로 정의

Ball query :query point 으로부터 반경 내에 있는 모든 점 찾아.

(alterative range query = kNN, 고정된 개수의 인접한 점 찾기)

kNN과 달리, ball query는 fixed region scale을 보장해 지역 영역 특징이 공간적으로 더 일반화되도록 ㅇㅇ

(3) PointNet layer

local region pattern 을 특징 벡터로 인코딩 하기 위해 mini-PointNet 사용

N' 개의 점으로 이루어진 로컬 영역, 입력 데이터 크기 = N'*K'*(d+C)

각 local region 은 중심점과 이웃 정보를 인코딩한 local 특징으로 추상화, 출력 데이터 크기 = N' * (d+C')

local 영역 내의 좌표는 중심점을 기준으로 상대적 좌표로 변환해 사용

각 점을 중심점 기준으로 나타낼 수 있어 -> PointNet 이용해 local 영역의 패턴 학습 가능

점들의 상대적 관계 캡처해 로컬 영억 특징 추출

3.3 Robust Feature Learning under Non-Uniform Sampling Density

point set > non-uniform density (different areas) > 특징 학습 어려워

dense data 에서 학습된 특징들은 샘플링된 지역에 일반화 X

=> spase point cloud 에 대해 훈련된 모델은 fine-grained local structures 인식하기 힘듦

===

point set을 가능한 정밀하게 , 높은 밀도 지역에서 미세한 정보까지 원해- local pattern이 샘플링 deficiency로 손상될 수 있어>> 더 넓은 범위에서 패턴 찾아야 해, 밀도에 적응하는 PointNet 제안: learn to combine features from regions of different scales when the input sampling density changes.

===이전: 각 abstraction level마다 single scales grouping과 특징 추출 포함

=> abstraction level마다 multi scales 의 지역 패턴과 이를 local point densities(MSG & MRG)와 결합

(a) Multi-scale grouping (b) Multi-resolution grouping

dense region-> detail feature 학습 가능

<-> sparse: sampling point 부족 === 넓은 영역에서의 패턴 찾아야해

밀도에 따른 adaptive 학습 ? Point layer 추가

* grouping 하는 local region에 따라

* 여러 scale의 feature 합치는 방법

Multi-scale grouping (MSG)

다른 scale로 그루핑 layer 적용, PointNet 사용해 특징 추출 > concatenate > multi scale feature 형성

> multi-scale Feature gkrtmqgkrl dnlgo

random input dropout 사용해 네트워크 훈련

drop out ratio θ uniformly sampled from [0, p]

네트워크에 various sparsity, uniformity wprhd

-> 각 중심점에 대해 local PointNet을 넓은 범위의 이웃에서 실행: 계산 비용 많이 들어

-> 최하위 수준에서 중심점 많아 시간 비용 크다

Multi-resolution grouping (MRG)

MSG는 모든 centroid point에 대해서 넒은 영역의 neighborhood를 input으로 한PointNet을 사용하기 때문에 computationally expensive

density가 낮으면 앞의 vector가 뒤의 vector에 비해 신뢰도가 낮아지므로 , 뒤의 vector에 weight에 더 높은 가중치

low-level, large-scale의 neighborhood에 대해 특칭 추출할 때 효과적..

3.4 Point Feature Propagation for Set Segmentation

Set abstraction layer: original point set -> subsampled

* set segmentation (ex_ semantic point labeling)

WANT: obtain point feature for all original points.

[해결방법]

-> sample all point as centroids (all set abstraction levels)

-> propagate features from subsampled point to origianl points

===

* hierarchical propagation strategy with distance based interpolation

Propagation: Ni*(d+C) 점 -> Ni-1로 전파 (level i의 입력과 출력의 점 집합 크기)

(보간 방법 kNN)

4. Experiments

4.1 Point Set Classification in Euclidean Metric Space

4.2 Point Set Segmentation for Semantic Scene Labeling

4.3 Point Set Classification in Non-Euclidean Metric Space

4.4 Feature Visualization.

5. Related Work

* distance metric, 정렬되지 않은 point set Convolution 적용되지 않는다

순서 없는 set에 딥러닝 적용 > local context capture X, global set 변환/정규화에 민감

6. Conclusion

메트릭 공간에서 샘플링된 point set 처리하기 위한 신경망

입력 point set 중첩 분할 > 반복 > 거리 metric과 관련된 계층적 특징 학습

균일하지 않은 point sampling 문제 > local point 밀도에 따라 multi-scale 정보 집계

2개의 abstraction layer(MSG/MRG)

=> 각 계층에 더 많은 계산 > 추론 속도 가속화

Local feature extraction

= scale/dense variety 문제 해결

PointNet, metric space local structure 학습시 반영하지 못한 점 보완

> 작은 pattern에 대한 인식

> complex scene 에 대한 일반화 높여

* input point set > nested partitioning > PointNet : recursive 적용

>> hierachical neural network

* point set partition 생성 방법

* local feature learniner(PointNet) 통해 추상화 방법

= 각 partition은 Convolution과 비슷하게 가중치 공유하는 공통 구조 필요

여러개의 set abstraction layer

- sample / group / PointNet layer

++ PointNet

PointNet: Classification & Segmentation Network

* Point Cloud - PointNet

- Unordered: 데이터 정렬 기준 정할 수 없음 <- 순서 없음 = 딥러닝에서 치명적

- Interaction among points, 이웃 점들과의 관계

- Invariance under transformation, 변환줘도 출력 결과 같아야 함

[추가업무] Python | 폴더 탐색 | 파일명 변경

오모짱_ — Wed, 26 Jul 2023 15:50:44 +0900

1. Dataset download

>> 폴더 구조에 맞추어 파일 명 변경하기

2. os.walk(top, topdwon=True, onerror=-None, followlink=False)

top: 시작 dir의 경로

topdown: default = True

onerror: 순회 중 오류가 발생했을 때 호출할 함수 지정

followlinks: 심볼릭 링크 따라가지 않고 직접 순회

# 하위 디렉토리(Sub directory) 내의 *.csv 파일도 검색하여 리스트 만들 수 있도록 수정
def origin(pDir_path, pExt):

    file_path_lists = []
    file_name_lists = []
    print(f'root: {pDir_path}')
    for (path, dir, files) in os.walk(pDir_path):
        print(f'    path: {path}')
        print(f'        -dir: {dir}')
        for filename in files:
            full_filename = os.path.join(path, filename)
            base = os.path.basename(full_filename)
            base_include_path = os.path.abspath(full_filename)
            ext = os.path.splitext(base)[1]
            if ext == pExt:
                file_name = os.path.splitext(base)[0]  # file name
                ext_name = os.path.splitext(base)[1]  # extension name
                file_path_lists.append(base_include_path)
                file_name_lists.append(file_name)
    return file_name_lists, file_path_lists

-> 현재 dir의 경로 (string)

-> 하위 dir 리스트

-> 현재 dir 에 있는 모든 파일 리스트 반환

☞ 매번 경로 입력하기 번거로움 -> 최상위 폴더에서 접근 가능하도록 수정

☞ 센서 별로 폴더 구조 다름 (CSV 폴더 고려 X)

☞ 같은 경로 내에서만 파일 명 변경 가능하도록

☞ 별도의 예외처리 고려 X

[SetUp] Window | Unreal Engine | 조작 방법

오모짱_ — Tue, 25 Jul 2023 10:08:42 +0900

● 에픽게임즈 계정

● 깃허브 계정

● Visual Studio (Community ver. 가능)

.Unreal Engine version <-> Visual Studio 호환성

버전 호환성 링크

● Unreal Engine 4.22 == Visual Studio 2017, 2019

● Unreal Engine 4.25 == only Visual Studio 2019

☞ Visual Studio 2022.. ?

.NET Framework 4.5 ~ 4.6.2

C# 및 Visual Basic (build 시 필요한 툴 = C#)

Unreal Engine 설치 관리자

Invited Repository: _Open Source X

에픽게임즈 홈페이지 로그인 > 계정 설정 > 깃허브 계정과 연결

등록한 이메일로 깃허브 repo 초대 메일 수신 가능

Build

Unreal Engine repository

┖ Setup.bat

┖ GenerateProjectFiles.bat

┖ UEx.shln

Setup.bat > binary content & 필수 구성 요소 설치

GenerateProjectFiles.bat > 프로젝트 파일 생성 (.Net 패키지 누락 > 프레임워크 버전 추가 설치)

UEx.sln > Visual Studio 실행

'F5' > 전체 빌드 (시간 오래 걸림)

build 후 프로젝트 폴더 'Engines\Binaries\'에서 주요 툴 확인 가능

● UExEditor.exe: 언리얼 에디터 실행파일

● UnrealInsights.exe: 프로파일러 툴 (docs)

● NetworkProfiler.exe: 네트워크 프로파일러 툴 (docs)

++ Market Place

게임 참고용 assets, contents > Art, Sound contents 참고

사용하려면 Epicgames launcher 설치 필요

Unreal 조작 방법

● 좌표계: 전방 x, 옆 y, 위 z

● 단위: cm

● View port 조작

[Unreal] Real-time motion capture (IMU) data retarget to Unreal

오모짱_ — Mon, 24 Jul 2023 15:39:36 +0900

W - Go Forward / S - Go Backward

A - Move Left / D - Move Right

https://www.patreon.com/posts/64346879

UDP Controller: access the human rigid body pars based on the sensor name > manipulate the rotational angels (rotation x, y, z | ptich, roll, yaw )

Add 3rd persion cahracter

content pack(add feature) > click add > 3rd person

3rd Person BluePrint: Event Graph

action defines: movement, jump, ...

All keys are associated for a specific control in the project settings > Engine > Input

-> bind all actions input based on controllers

+ Some animations: Mannequin > Animation folder

: created manually (by bone rotation every key frames)

Sensor Mapping to 3rd Person Character

Retarget: sensor details <-> human rigid body

- SensorTest_Human

- UDPController_Human (blueprint calss)

UDP controller blueprint

1. get the player character by calling fucn "get player character"

- multiple character: use player index to respective player character (default: 0)

2. get Anim Instance > cast To ThirdPerson

3. Switch case statement

- input: sensor name: ex_ upperarm_I / lowerarm_I

Project Folder

Mannequin

|_Character

|_Mesh: all the different skeletal mesh: male & female (can change character type)

|_Bluprint

|_instnace of the skeleton > properties > Mesh

NEXT...

1. SetUp: Unreal Engine

CSV -> data read > character mapping: action check

(JSON format)

● Using asynchronous UDP protocol: transmit the data to Unreal Engine.

● Establishing an UDP receiver in Unreal Engine. <- capture data: transmitted from sensor

Strign GetJSONString(String sensorName, float pitch, float roll, float yaw)
{
	StaticJsonDocument<1024> staticJsonDocument;
    StaticJsonDocument["name"] = sensorName;
    StaticJsonDocument["pitch"] = ptich;
    StaticJsonDocument["roll"] = roll;
    StaticJsonDocument["yaw"] = yaw;
    
    char docBuf[1024];
    serializeJson(staticJsonDocument, docBuf);
    
    return String(docBuf);
}

2. Unreal Engine: How to read csv file

- FFileHelper class

- FString class

❍ Create Data Table (CSV)

[참고1]

구조체 생성 시, USTURCT, GENRATE_BODY() 매크로 사용해줘야 Editor interface 에서 볼 수 있다.

CSV 파일에서 1열에 있는 데이터 -> 언리얼 엔진에서 자동으로 key 값으로 사용

❍ Import CSV file

구조체에 연결 후 적용

❍ Load Data Table

data에 따라.. 보통 변하지 않는 데이터는 게임 앱 초기화 할 때 불러들여 사용

[Reference]

https://www.youtube.com/watch?v=AbpgH0mMe34

https://www.patreon.com/posts/real-time-motion-64976098

[Setup] Window | Anaconda | Pytorch | CUDA | CUDNN

오모짱_ — Fri, 21 Jul 2023 16:18:48 +0900

~~CUDA - torch 버전 차이로 삽질~~

~~뭐하려고 했는지 모르겠~~

사전 확인: GPU 체크

PC에 장착된 GPU 모델 확인

❍ NVIDIA GeForce GTX 1080 Ti

❍ CUDA Version: 12.0: 내 그래픽 카드에 설치할 수 있는 버전

Anaconda 설치

❍ python 3.9.13

❍ conda 23.5.2

CUDA 설치

nvcc -V로 버전 확인 가능

❍ CUDA: V11.2.67

CUDNN Version Check (CUDNN 8 이후)

C: > Program Files > NVIDIA GPU Computing Toolkit > CUDA > v11.2(자신 버전) > include > cudnn_version.h

MAJOR - MINOR - PATCHLEVEL 순으로 버전 = 8.1.0

Torch 설치

공식 홈페이지

PyTorch

An open source machine learning framework that accelerates the path from research prototyping to production deployment.

pytorch.org

pip install torch==1.7.1+cu110 torchvision==0.8.2+cu110 -f https://download.pytorch.org/whl/torch_stable.html

import torch

print(torch.cuda_is_available()) # True

SimGNN: A Neural Network Approach to Fast Graph Similarity Computation

오모짱_ — Fri, 21 Jul 2023 10:29:55 +0900

논문: SimGNN: A Neural Network Approach to Fast Graph Similarity Computation

❍ WSDM 2019

❍ network embedding, neural networks, graph similarity computation, graph edit distance

ABSTRACT

그래프 유사도 검색 > 그래프 편집거리(GED), 최대 공통 부분 그래프(MCS)

그래프 문제를 해결하기 위한 새로운 신경망 기반 접근법 제안

1. 학습 가능한 임베딩 함수 설계

- 그래프를 임베딩 벡터로 매핑: 그래프의 요약 정보 제공

- 새로운 attention 메커니즘 도입: 유사도 지표에 따라 중요 노드 강조

2. pairwise node comparison: supplement the graph-level embeddings with fine-grained nodelevel information

1. INTRODUCTION

사용자 쿼리가 주어졌을 때, DB에서 유사한 그래프 집합 검색

- 유사도: GED, MCS 를 지표로 사용 -> 계산 작업은 NP-Complete문제로 알려져 있다.

P Problem

: Polybnomial Time 안에 해결할 수 있는 문제, 문제에 대해 동일한 해답을 주는 알고리즘 있을 때 해당 문제는 해결 가능

NP Problem

:Non-determinstic Polynomial Tme Probelm, 다항식 시간 내에 해결할 수 있는지 없는지 모르는 문제

(P ⊆ NP라고 할 수 있지만 NP ⊆ P인지는 알 수 없음)

NP-Hard Problem

"모든 NP 문제를 다항식 시간 내에 'A' 문제로 reduce/transform 할 수 있는 경우 'A' 문제를 NP-hard라고 한다."

=> NP에 속하는 모든 문제에 대해, 다른 문제로 polynomial-time many-one reducible 되는 문제

NP-Complete Problem

NP-Hard 이면서 NP 에 속하는 문제

❍ 그래프 유사도 검색 방안

1. Pruning-Verification framework

쿼리에 대한 정확한 그래프 유사도 계산의 총 양을 데이터베이스 인덱싱 기법과 프루닝을 이용해 줄여

-> 그래프 유사성 계산의 시간 복잡도는 해결 못해

2. Reduce the cost of graph similarity computation

- 정확한 similarity metirc을 계산하는 대신, approximate value를 빠르고 heuristic 한 방법으로 찾아

-> 복잡한 설계/구현 필요

-> 시간 복잡도 여전히 polynomial or sub-exponential (A*-Beamsearch)

=====

논문에서는 속도를 높일 수 있는 새로운 접근법 제안

Reduce the cost of graph similarity computation => approximate similarities를 직접 계산하는 대신,

combinatorial search 사용 -> Learning problem

= 한 쌍의 그래프를 유사성 점수로 매핑하는 신경망 기반 함수 설계

[Training Stage]

predicted similarity scores <-> ground truth 차이 최소화

- training data: pair of graphs together with their true similarity score

[Test Stage]

학습된 함수에 임의의 그래프 쌍 제공, 유사성 점수 예측

-> SimGNN: Similarity Computation via Graph Neural Networks

❍ SimGNN 설계

(1) Representation-invariant: 동일한 그래프를 노드의 순서를 바꾸면 서로 다른 인접 행렬로 나타낼 수 있다 => 계산된 유사성 점수는 이런 변화에 불변해야 함

(2) Inductive: should generalize to unseen graph

(3) Learnable: 모델은 학습을 통해 매개변수를 조정, 어떤 similarity metric에도 적응해야 한다.

=> 학습 가능한 임베딩 함수 설계, 각각의 그래프 > 임베딩 벡터로 변환: 노드 수준의 임베딩 종합해 그래프 전체를 요약

=> 특정 유사도 지표에 따라 전체 그래프에서 중요한 노드 선택하기 위한 새로운 어텐션 메커니즘

그래프 A는 임베딩 공간에서 Q와 가까워, 실제 유사성: A와 Q 비슷

* 임베딩 기반의 유사도 계산은 매우 빠르다

* 그래프 수준의 임베딩 -> 노드 수준 보완 : pairsiwe node comparision method

하나의 고정 길이 임베딩은 그래프 단위로 불완전 < 두 그래프의 노드 쌍별 유사도 점수 계산

=> 유사도 점수로부터 히스토그램 추출, 그래프 수준 정보와 결합

? 히스토그램의 사용 이유 ?

1. 정보 요약: 노드 쌍 별 유사도 점수 분포를 그대로 사용 X, 히스토그램으로 나타내면 데이터 특성을 한눈에 파악 가능

2. 차원축소: 노드 쌍별 유사도 직접 사용보다 히스토그램 사용 시, 데이터 차원 줄일 수 있다.

❍ CONTRIBUTION

- 그래프 유사도 계산이라는 문제를 학습 문제로 고려, 이를 해결하기 위한 SimGNN 이라는 신경망 기반 접근 방식 제안

- 효율적/효과적인 어텐션 메커니즘 제안 -> 그래프 간 유사성 보존하는 그래프 레벨의 임베딩 만들어내는데 필요

- pairwise 노드 비교 방법 사용 -> 그래프 수준 임베딩 보완 : 그래프 간 유사성 보존하는 효과적인 임베딩 얻어

- 실제 네트워크 데이터셋 기반으로 실험 진행

2. PRELIMINARIES

2.1 Graph Edit Distance (GED)

G1과 G2 간의 GED: G1 -> G2로 변환하는 과정에서 수행되는 edit operation 의 수

* edit operatrion: vertex/edge 의 삽입, 삭제, relabelling

* 그래프가 동일하다면 둘의 GED = 0

그래프 간의 거리가 계산된 후 0~1 사이의 유사도 점수로 변환 (* 변환 방법은 4.2)

2.2 Graph Convolutional Networks (GCN)

GCN
Convolution Filter(kernel)로 imgage 순회, dot-product, 기존의 데이터로부터 filter 이용해

새로운 tensor(=activation map) 만들어

filter의 depth = receptive field, 깊을수록 더 깊은 computation layer

conv 연산의 특징 - weight sharing

node feature matrix update

graph 주변의 부분들로 update

> conv 연산과 비슷하게 local 정보 이용하고 weight sharing

Node embedding computation

[1] compute graph-level embedding

[2] pairwise node comparison for 2 graph

노드 임베딩 알고리즘 중, Graph Convolution Network, GCN 사용 <- 다른 임베딩 알고리즘???

- initialization is carefully designed.

- inductive, since for any unseen graph

N(n): set of the first-order neighbors of node n, n itself

dn: degree of node n + 1

W: weight matrix associated with eht l-th GCN layer

b: bias

f: activation fuction (ReLU)

3. THE PROPOSED APPROACH: SIMGNN

한 쌍의 그래프를 유사성 점수로 매핑하는 학습: end-to-end neural network

** end-to-end neural network

입력 ~ 출력 까지 전체 과정을 하나의 통합된 신경망으로 처리하는 기술

입력-출력 사이의 매핑을 자동으로 학습 가능, 중간 단계의 특징 추출과 전처리 과정의 번거로움 줄여준다

3.1 Strategy One: Graph-Level Embedding Interaction

그래프 수준 임베딩이 그래프의 구조/특징 정보를 인코딩할 수 있고

이를 통해 두 그래프간의 유사성을 예측할 수 있다는 가정 기반

(1) node embedding stage: 그래프 노드 -> 벡터 임베딩

(2) graph embedding stage: 각 그래프에 대해 하나의 임베딩 생성 (by attention based aggregation)

(3) graph-graph interaction stage: 두 그래프 임베딩으로부터 유사성 점수 반환

(4) final graph similarity score computation stage: 앞 단계의 유사성 점수 -> 하나의 최종 점수로

3.1.1 Stage 1 - Node Embedding

GCN 사용 (Neighbor aggregation based method) GCN

invariant를 표현하는 aggregation func을 학습하고 unseen node에 적용할 수 있다.

=> node embedding 후 attention module에 넣을 준비 완료!

3.1.2 Stage II: Graph Embedding

노드 임베딩 집합을 이용해 각 그래프마다 하나의 임베딩을 만들기 위해서?

* unweighted average of node embeddings

* weighted sum where a weight associated with a node is determined by its degree.

=> specific similarity metric에 따라 어떤 노드는 더 중요해 높은 가중치를 두어야 할 것

본 논문에서 다음과 같은 어텐션 메커니즘 제안

* nodes similar to the global context should receive higher attention weights

시그모이드 함수 사용해 attention weight 0~1 사이의 값으로 조절

<-> 길이를 1로 정규화 하지 않는다. 임베딩 norm 이 그래프 사이즈를 반영하도록 두는 것이 바람직. 그래프 유사도 계산에 필수적 작업!!

node attention mechanism

3.1.3 Stage III: Graph-Graph Interaction: Neural Tensor Network.

단순 내적을 통해 계산할 수 있지만, lead to insufficient or weak interaction between the two의 가능성

본 눈문에서는 Neural Tensor Networks (NTN) to model the relation between two graph-level embeddings 사용

3.1.4 Stage IV: Graph Similarity Score Computation.

list of similarity scores를 얻으면, standard multi-layer fully connected neural network를 적용해 similarity score vector의 차원을 점차 줄인다.

compared against the ground-truth similarity score using the following mean squared error loss function:

3.1.5 Limitations of Strategy One.

그래프 레벨 임베딩에서 노드 레벨 정보(노드 특징 분포, 그래프 사이즈)가 손실될 수 있다.

=> 단어 수준의 정보를 사용하면 ? 자연어 처리에서 문장 당 하나의 임베딩 기반으로 한 매칭의 성능 향상 가능

3.2 Strategy Two: Pairwise Node Comparison

주어진 2개의 그래프 크기가 달라 two fake nodes with zero embedding are padded to the graph

+ 그래프 표현의 불변성을 보장하기 위해 노드에 순서를 지정하는 방법을 적용해 전처리 할 수 있지만

-> 히스토그램 사용

: 연속적이지 않고, 미분 가능하지 않아 : 역전파를 통한 모델 훈련에 직접 사용 불가능

=> [strategy 1]로 모델 가중치 업데이트, 그래프 수준 임베딩 생성, 그래프 간의 구조적, 특성 유사성 반영에 효과적

=> [strategy 2]로 그래프 특징 보완해 성능 향상, 노드 간의 세부적 유사성 이해, 역전파 지원 X (유사도 계산에만 사용), 모델 훈련에 직접 기여 X

3.3 Time Complexity Analysis

SimGNN이 훈련되면, 어떤 그래프에 대해서 유사도 점수 계산하는데 사용 가능

* The node-level and global-level embedding computation stages.

임베딩 계산 단계는 각 그래프마다 한번씩 계산

generation of node-level and graph-level embedding : O(E) (E: number of edges)

graph-level 임베딩은 pre-computed 되어 저장.

setting of 그래프 유사도 검색에서, unseen query graph는 그래프 임베딩을 얻기 위해 한 번만 처리하면 된다.

* The similarity score computation stage.

모든 그래프 쌍에 대해 계산

4 EXPERIMENTS

4.1 Datasets

4.2 Data Preprocessing

* AIDS and LINUX are relatively small, an exponentialtime exact GED computation algorithm named A *

“no currently available algorithm manages to reliably compute GED within reasonable time between graphs with more than 16 nodes.”

IMDB 데이터셋 처리-> Beam, Hungarian, VJ 같은 근사 알고리즘 사용

최소값을 선택하는 이유? 근사 알고리즘이 반환하는 GED가 실제보다 크거나 같다는 것이 보장되기 때문!

실제 GED와 오차를 최소화 하면서 정확한 값을 얻을 수 있다.

4.3 Baseline Methods

(1) fast approximate GED computation algorithm

- A*

- Hungarian

- VJ

(2) neural network based

- SimpleMean simply takes the unweighted average of all the node embeddings of a graph to generate its graph-level embedding.

- HierarchicalMean

- HierarchicalMax are the original GCN architectures based on graph coarsening, which use the global mean or max pooling to generate a graph hierarchy.

(The next four models apply the attention mechanism on nodes.)

- AttDegree uses the natural log of the degree of a node as its attention weight

- AttGlobalContext

- AttLearnableGlobalContext (AttLearnableGC) both utilize the global graph context to compute the attention weights, but the former does not apply the nonlinear transformation with learnable weights on the context, while the latter does.

- SimGNN is our full modek that graph combines the best of Strategy 1 (AttLearnableGC) and Strategy 2.

4.4 Parameter Settings

- the number of GCN layers = 3

- activation function = ReLU

[training]

- batch size = 128

- Adam algorithm for optimization

- learning rate = 0.001

- number of iterations = 10000

- select the best model on the lowest validation loss

4.5 Evaluation Metrics

- Time

- Mean Squared Error

- Spearman’s Rank Correlation Coefficient (ρ)

- Kendall’s Rank Correlation Coefficie ( )

> Precision at k (p@k). p@k is computed by taking the intersection of the predicted top k results and the ground-truth top k results divided by k. Compared with p@k, ρ and τ evaluates the global ranking results instead of focusing on the top k results.

~~4.6 Results~~

~~4.7 Parameter Sensitivity~~

~~4.8 Case Studies~~

5. RELATED WORK

5.1 Network/Graph Embedding

- node-level embedding

- graph-level embedding

- graph neural network applications

5.2 Graph Similarity Computation

- graph distance/similarity metrics

- Pairwise GED computation algorithms

- Graph Similarity search

6. DISCUSSIONS AND FUTURE DIRECTIONS

- edge 특성은 처리할 수 없다

- precision 을 향상시키기 위해 top k 개의 결과에서 다른 기법을 탐색 -> 훈련 데이터셋의 유사도 분포가 비대칭적

- 큰 그래프에 대해 정확한 GED 계산할 수 없다는 제약 -> 작은 그래프 사이의 정확한 GED 만으로 훈련된 모델이 큰 그래프에 대해 어떻게 일반화 되는가?

7. CONCLUSION

"The central idea is to learn a neural network based function that is representation-invariant, inductive, and adaptive to the specific similarity metric, which takes any two graphs as input and outputs their similarity score."

[07.18] SEMINAR FEEDBACK

- 후보 집합 빠르게 찾아내기

- 두 그래프 사이의 노드 - 매칭 sequence 찾기

<= Ptr-Net과 엮어, Graph-level embedding interatcion 적용 ??

* Pairwise Node Comparison

: 히스토그램의 역할? 왜 ? 어떻게?

그래프 유사성 검색

- (GED) Graph Edit Distance

- (MCS) Maximum Common Subgraph

노드/그래프 분류 등 응용 프로그램에 대한 신경망 접근 방식

> 좋은 성능 유지하면서 계산 부담 완화하기

SimGNN의 전략

(== GED 계산에 대해 근사 알고리즘 및 신경망 모델 비교했을 때 좋은 성능)

1. 모든 그래프를 임베딩 벡터에 매핑하는 학습 가능한 임베딩 함수 설계 > 전체 그래프에 대한 정보 제공

++ 특정 유사성 메트릭과 관련한 중요한 노드를 강조하기 위해 어텐션 메커니즘 사용

2. 노드 수준 정보를 사용해 그래프 수준 임베딩을 보완 > pairwise comparison

++ 두 그래프 노드 쌍별 유사도 점수 계산 > 히스토그램 추출 > 그래프 level 정보와 결합

>>> Representation Invariant

동일한 그래프는 노드 순서 바꾸면 다른 인접 행렬로 표현 -> 유사도 점수는 이런 변화에 대해 불변

>>> Inductive

should generalize to unseen graph.

>>> Learnable

학습을 통해 유사도 지표에 적응할 수 있어, 모델 파라미터 조정해 다양한 유사도 지표에 대응

(GCN) Graph Convolutional Networks

- node embedding 방법

- 초기화 잘 하면 representation Invariant

- unseen graph 에 대해서도 ㅇㅇ

A* 알고리즘: 최단 경로 탐색

~~시작 노드만 지정, 다른 모든 노드에 대한 최단 경로 파악하는 다익스트라와 다르게~~

시작 - 목적지 노드를 분명하게 지정해, 두 노드간의 최단 경로 파악

휴리스틱 추정값을 통해 개선 가능

NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE

오모짱_ — Wed, 19 Jul 2023 22:01:50 +0900

논문: NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE

❍ ICLR 2015

ABSTRACT

번역 성능 극대화 하기 위한 single neural network. 주로 인코더-디코더의 구조.

=> source 문장을 고정 길이 벡터(fixed-lenght vector)로 인코딩 후 디코더가 이를 활용해 번역 생성

* 고정 길이 벡터의 사용: 인코더-디코더에 병목 현상 일으켜.

=> 모델이 단어를 예측하는데 도움이 되는 source의 일부를 자유롭게 찾아낼 수 있는 방식 제안.

* 영어 -> 프랑스어로의 번역 작업에서 좋은 성능 달성

~~모델이 찾아낸 (soft-) alignments 가 저자들의 직관과 일치함 보임~~

[인코더-디코더 구조에서의 병목 현상]

https://wikidocs.net/24996

인코더가 입력 문장의 모든 단어를 순차적으로 받아

마지막에 단어들로부터 얻은 정보 압축해 하나의 벡터로 만들어

= CONTEXT Vector (입력 문장에 대한 문맥적인 정보)

디코더는 해당 벡터를 받아 번역된 단어를 하나씩 순차적으로 출력

앞 단어에 대한 계산이 끝나야 다음 단어의 계산 진행 가능 -> 정보 흐름에 Bottleneck 발생

입력 문장 길이에 상관 없이, 고정된 크기를 가진 context vector에 정보를 압축해야 하므로 전체 성능에서 bottleneck의 원인

✍️

align ≡ attention

annotation ≡ hidden state

1. INTRODUCTION

* 기존의 구문 기반 번역 시스템(Koehn) => Statistical phrase-based translation (STM)

어휘 정렬, 구문 표현, 번역 모델 학습, 디코딩: 여러 단계로 나누어 처리

1. 어휘 정렬: 원본과 대상 문장의 단어 사이의 어휘적 매칭

2. 구문 표현: 문장 구조적 정보 고려한 구문 표현 생성(ex_ 구문 트리, 구문적으로 정렬된 문장 쌍 생성)

3. 번역 모델 학습: 원본과 대상 문장 사이의 구문 표현과 번역의 관련성 학습

4. 디코딩: 새로운 입력 문장 번역 과정, 가능한 번역 후보 생성하고 점수 부여해 최적의 번역 선택

대부분의 neural machine translation model은 인코더-디코더의 구조

=> 긴 문장에서의 성능 떨어진다..

=> jointly trained to maximize the probability of a correct translation given a source sentence.

==> 인코더-디코더 모델에 align과 번역을 함께 학습하는 확장 기법 소개

- 각 단어를 생성할 때, 원문에서 가장 관련 있는 정보가 있는 위치 집합 탐색 (soft-search)

- 해당 위치와 이전에 생성된 모든 대상 단어와 관련된 context 벡터를 기반으로 단어 예측

입력 문장을 순차적으로 탐색해서 현재 생성하려는 부분과 가장 관련있는 영역을 적용시킨다.

최종적으로 encoder에서 생성한 context word 중 관련성이 크다고 판단되는 영역들과,

decoder에서 이미 생성한 결과를 기반으로 다음 단어를 결과로 생성해낸다.

?? 입력 문장 전체를 하나의 고정 길이 벡터로 인코딩하지 않는다.

일련의 벡터로 인코딩 -> 번역 과정에서 하위 집합을 선택. 모든 정보를 고정 길이 벡터로 압축할 필요 없어

긴 문장을 더 잘 처리할 수 있다

☑ align과 번역을 동시에 학습하는 접근 방식 >> 인코더-디코더 방식보다 향상된 성능

_긴 문장에서 두드러짐

2. BACKGROUND: NEURAL MACHINE TRANSLATION

확률 관점 _번역 => 타겟 문장 y의 조건부 확률 최대화 하는 y를 찾는 것.

신경망 모델에서 문자 쌍의 조건부 확률을 최대화 하기 위한 매개변수 모델 학습

2.1 RNN ENCODER–DECODER

align and translate 동시에 학습하는 구조의 기반이 되는 개념 소개

❍ Encoder: 입력 문장 x를 읽어 하나의 벡터 c 로 인코딩

h: hidden stae at time t

c: vector generated from the sequence of the h

f, q: nonlinear function (LSTM)

❍ Decoer:

벡터 c와 이전에 예측된 모든 단어 {y1, ..., yt-1}이 주어지면 다음 단어 yt'을 예측하도록 훈련

y에 대한 확률은 조건부 확률을 기반으로 생성됨

g: nonlinear, potentially multi-layered function

st: hiddent state of RNN

3. LEARNING TO ALIGN AND TRANSLATE

양방향 RNN을 인코더로, 디코더는 번역 생성하는 동안 원본 문장 탐색

3.1 DECODER: GENERAL DESCRIPTION

새로운 모델에서 조건부 확률 정의: ci 가 각각의 yi에 추가된 것 확인

si: RNN hiddent state for time i

ci: context vector _depends on a sequence of annotations (h1, ... , hTx), 전체 input sequence에 대한 정보를 포함

[특히 i번째 단어에 초점]

aij: weight

eij: alignment model, input_j와 output_i의 출력이 얼마나 잘 매칭/일치하는지에 대한 점수

디코더가 yi를 출력하기 전 hidden state s(i-1)은 이전에 예측된 단어들을 포함한다.

이 점수를 기반으로 디코더는 올바른 위치에 해당하는 입력 정보를 찾아내고, 문장 생성 => 번역을 더 정확하게 수행

alignment model "a" : 하나의 feedforward neural network로 구성, 다른 네트워크와 같이 학습

가장 마지막 변수를 고려 X, diredctly computes a soft alignment,

=> 각 디코딩 단계에서 모델이 입력 문장과 출력 문장 사이의 관련 점수를 계산한다

generate target word yt given a source sentence (x1, ... ,xT)

3.2 ENCODER: BIDIRECTIONAL RNN FOR ANNOTATING SEQUENCES

양방향 RNN(BiRNN): 순방향(주어진 순서대로 x1, ..., xT 읽어 hidden state 계산), 역방향 RNN으로 구성

두 RNN의 결과 순방향 h와 역방향 h를 연결해 hj 생성

인접한 state의 정보를 더 많이 가지고 있는 RNN의 특성상, hj는 입력 단어 xj의 가까운 위치에 있는 단어의 정보를 더 많이 보유하게 된다.

4. EXPERIMENT SETTINGS

4.1 DATASET

❍ English-French parallel corpus (by ACL WMT ’14)

- 전체 corpus 단어를 348M개로 제한, 크기 축소

- monolingual data는 사용하지 않음

4.2 MODELS

2 types of models

❍ [기존] RNN Encoder–Decoder: 1000개의 hidden unit

❍ [제안] RNNsearch: 1000개의 순방향 + 1000개의 역방향 hidden unit

학습 방법

> 30 단어 문장

> 50 단어 문장

두 모델 모두 multilayer network with single maxout 사용

minibatch stochastic gradient descent(SGD) 알고리즘 (80) + Adadelta 사용

훈련된 모델 -> beam search 사용, 조건부 확률 최대화 하는 번역 찾아

[minibatch stochastic gradient descent]

훈련데이터를 미니 배치로 나누고, 각각에 대해 gradient descent 적용 => 모델의 가중치 업데이트

훈련 시간 줄이고 계산량 감소, 모델 성능 향상

[Adadelta]: AdaGrade 기반의 최적화 알고리즘

Accumulated Squared Gradient/Update

1. 누적 제곱 gradient 계산: 매개변수 갱신을 위해 과거 gradient 제곱 누적.

2. 누적 제곱 업데이트: 이전 업데이트의 제곱 누적

3. 새로운 gardient 계산. 현재 스텝에서 gradient를 계산한다

4. learning rate 조정: 현재 & dlwjs gradient 이용해 학습률 계산, 과거 gradient 들이 얼마나 중요한지에 따라

5. 매개변수 업데이트

=> gradient가 크거나 작은 경우에도 일반적으로 잘 작동한다

[beam search]: 자연어 처리/기계 번역에 사용되는 탐색 알고리즘

모든 시퀀스를 탐색하지 X, 가장 가능성이 높은 시퀀스 찾기 위해 최적화된 탐색 방법: 너비 우선 탐색 + 그리디 알고리즘 결합

1. 시작 단어에 대해 가능한 모든 다음 단어의 조합 계산: 초기 beam 생성

2. 빔 확장: 빔의 각 상태에서 가능한 다음 단어 후보 계산 - 빔의 상태는 이전에 생성된 단어 조합, 이에 대한 다음 단어 예측

3. 빔 정렬: 가능한 다음 단어 후보 중 가능성 가장 높은 빔의 크기만큼 단어 선택 => 다음 단계의 빔 생성

4. 최종 단어 결정: 특정 조건(ex_ 문장 끝 도달) 충족하는 단어 시퀀스 찾을 때까지 확장->정렬 단계 반복

가능한 모든 시퀀스 탐색보다 효율적으로 가능성이 높은 시퀀스를 찾을 수 있다- beam 크기를 늘리면 더 정확한 결과를 얻을 수 있지만 계산 비용 증가

5. RESULTS

5.1 QUANTITATIVE RESULTS

BLEU score를 기반 translation 성능을 평가. RNNsearch 가 모든 경우 더 뛰어난 성능을 제공

기존의 phrase-based translation system(Moses) 와 유사한 성능

본 논문에서 제시하는 모델의 장점 = source sentence를 하나의 고정된 길이의 벡터로 변환하지 않아도 된다

하나의 고정된 길이의 벡터로 변환하는 경우, 문장의 길이가 길어지면 성능이 떨어진다.

=> RNNsearch-30, RNNsearch-50의 경우, source sentence 가 길어져도 어느정도 일관된 성능을 제공ㅇㅇ

RNNsearch-50은 특히 문장이 길이가 계속 길어져도 성능 저하가 없음!

5.2 QUANTITATIVE ANALYSIS

5.2.1 ALIGNMENT

영어-프랑스어 특징적 차이 = 형용사 | 명사의 어순

: 잘 정렬함^^

5.2.2 LONG SENTENCES

: 긴 문장의 경우도 누락 없이 잘 번역^^

+ 수식 why..?

[세미나] 준비 과정 | 시작이 절반 | 발표는 어려워 | 피드백

오모짱_ — Wed, 19 Jul 2023 13:17:00 +0900

[07.18] INFOLAB 첫 세미나

연구과제로 참여하게 된 세미나! 2주의 시간과 함께 발표할 논문과 참고로 볼 논문 2가지를 주셨다.

발표하게 된 논문은 ☞ Pointer Network

퍼듀 생활에서부터 논문 읽기는 뭐 어렵지 않지 라고 생각했는데

막상 읽은 논문을 발표하려고 하니까 머리가 아팠다.

읽기 싫은 마음이 드는 순간부터 끝^^.

끝나고 드는 생각 = 좀 더 잘 할 수 있었을 것 같다..

변명이지만 체력과 인턴 시간 관리를 못한게 좀 크지 않았나..

1. 논문 읽고 이해하기

처음엔 아무 생각없이 읽어서 뭔소린지 이해도 안되고

보기 싫다는 마음이 커졌다.. 그럼 도망가면 된다는 교수님의 말씀이 생각나면서

꾸역꾸역 읽던 도중, 인턴 연구팀에 속한 논문 머신 박사님의 조언

"GPT를 잘 활용해라^.^"

약간 길을 헤매다가 방향을 찾아간 기분.

- 무슨 연구를 한 것인지에 초점을 맞추고 다시 차근차근

한번에 이해하기 => 계속 읽어가면서 모르는 부분을 채워나가기

2. 발표자료 + PPT 구성

~~나름 이것저것 붙여가면서 만들었는데 발표할때 보니까 맘에 안듦..~~

~~좀 더 신경써서 만들어야겠다~~

* 논문 제목, 저자, 학회 정보

발표 날짜 + 발표자

* 연구 주제와 핵심 내용에 초점

-> PPT 만드는거 자신있는데 대강대강 하긴 했어

-> 조금 신경 쓴 노력이 보인다는 교수님ㅎ.ㅎ

* 그림 자료는 논문에 있는게 가장 정확/깔끔할 것 같아서 그대로 가져다 썼는데

=> 내가 이해한 내용을 토대로 새롭게 만드는 것도 좋다

마지막 준비하면서 막혔던 부분..

논문에서 시행한 실험과 그 결과에 대한 부분을 어떻게 전달할 것인가

=> 실험 내용이 신뢰할 만한가 따져봐라. 논문을 위한 논문이 가끔 있기 때문에 무작정 믿으면 안돼!

3. 발표 연습

발표 울렁증이 있으면 연습을 좀 더 하렴^^

말로만 전달하려니까 살짝 어려웠는데

발표자료에 글을 더 추가하는게 나을 것 같다.

계속 수정하면서 발표 자료에 익숙해지니까

이정도면 충분하겠지 라는 생각이 드는데

'교수님 = 아무것도 모른다' 에서 시작해서 정확히 이해시킬 수 있는 발표를 해야겠다

& 질문에 대한 디펜스.. 다음엔 교수님이 아무 말도 못하게 하는게 목표다

4. 다음에는..

+ 이해가 안되거나 배경 지식이 필요한 문장 -> reference 참고하기

+ 논문이 해결하고자 하는 문제

+ 문제에 대한 간단한 요약

+ 논문 속의 keyword, insight

+ 내가 얻은 것

- 문제를 다르게 해결하거나 개선할 수 있는 방법?

- 좀 더 괜찮은 아이디어

- 배운 점 | 흥미로운 점

- 문제 자체에 의문 제기

다음주까지 TO-DO (~07/25)

+ NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE

+ SimGNN: A Neural Network Approach to Fast Graph Similarity Computation

+ PointNet++: Deep Hierarchical Feature Learning onPoint Sets in a Metric Space

+ RNN / LSTM / seq2seq / encoder-decoder / attention 좀 더 구체적으로 공부

++ Pointer Network 구현 & sorting 문제 적용

+++ 논문 하나 완성

[IMU] Inertial Measurement Unit | KALMAN Filter

오모짱_ — Tue, 18 Jul 2023 16:12:59 +0900

~~뭔가 정리하려고 했는데..~~

누군가 IMU 센서를 쓰게 된다면 도움이 될까 싶어서 끄적이는 글^^

❏ IMU 구성

관성 측정 장치(Inertial Measurement Unit)는 가속도(Acceleration) 센서, 각속도(Gyroscope)를 포함한다.

(일부는 지자기(Magnetometer) 센서 포함)

▪ 가속도 센서 Accelerometer

물체 움직임 변화에 따른 가속도의 변화를 순간적으로 감지한다.

센서 출력값인 가속도를 적분해 물체 진행 방향의 속도를 계산할 수 있다. (물체 위치 알아낼 수 있다)

초기 출력값은 모두 0으로 설정

센서에서 얻은 가속도 값을 적분해 시간에 따른 오차가 누적된다는 단점 존재

⇨ GPS와 결합해 보정 가능

물체가 특정 방향으로 기우는 등, 자세 변화에 따라 x, y, z축 가속도계가 서로 영향을 미친다.

- 물체가 정지된 상태라면, 중력 방향으로 작용하는 힘을 계산해 각 축의 기울어진 각도를 계산할 수 있다.

- 물체가 움직이는 경우, 가속도 센서만으로 정확한 기울기를 알 수 없어 각속도 센서를 이용한다.

▪ 자이로 센서

회전의 변화량, 각속도를 측정하는 센서이다.

- x축으로의 회전 = Roll

- y축으로의 회전 = Pitch

- z축으로의 회전 = yaw

센서에서 측정되는 각속도는 노이즈나 다른 이유에 의해 계속 작은 오차가 발생한다.

적분시에 이 오차들이 누적되어 최종 값의 오차가 커져 기울기 값이 변하게 된다.

=> 지자기 센서는 자이로 센서의 오차를 최대한 보정해주는 역할을 한다.

▪ KALMAN Filter

센서의 오차와 노이즈를 줄일 방안으로 칼만 필터를 이용할 수 있다.

여러 모션 캡처에서 칼만 필터를 사용해 자세값을 보정하는 것을 확인할 수 있다.

구체적인 과정은 복잡한 수식 과정을 담고 있으므로 생략..

시각화해서 보여주는 툴도 찾아보면 꽤 많으니 잘 활용하도록 하자! (IMU viewer github )

Serial 통신의 Binary protocol과 Text Protocol

오모짱_ — Tue, 18 Jul 2023 15:38:51 +0900

통신 프로토콜을 맞추기 위한 수정/보완 작업

- IMU 추가에 따른 프로토콜 재설계 ( 기존 ASCII 전송 => Binary 통신으로 수정 )

- BLE 전송 특징에 부합하도록 설계: 어플리케이션에서 사용하는 데이터에 해당하는 ATT Payload의 데이터량을 고려 (반드시 244Bytes 이하로)

통신 환경

- Binary 통신 (Little-Endian)

- 데이터 수집 예제 프로그램 : Insole(STM32, Little-Endian) <---> PC(x86-64, Little-Endian)

- 실시간 센서데이터 처리 프로그램 : Insole(STM32, Little-Endian) <---> Jetson Nano(ARM32, Little-Endian)

pack에 사용하는 변수형 format

기존 read_data() 는 ASCII 전송으로, 패킷 손실 사항이 고려되지 않아 데이터 손실이 발생하는 경우

무선 네트워크 전송 시, 프로그램이 멈추는 현상이 발생한다.

프로그램이 멈추는 문제를 해결하기 위해 ASCII 전송에서 binary 전송으로 함수를 수정/보완한다.

마지막 end point 가 '0xFB' 가 아니라면 정상적인 패킷이 아니므로 시작점을 다시 찾는다.

def find_SOP(pSerial_obj):
    pSOP_code = [0xFF, 0xFA]
    check_code = [0x00, 0x00]

    while not(np.array_equal(pSOP_code, check_code)) :
        check_code = np.roll(check_code,-1)     # Left shift
        try:
            read_data = pSerial_obj.read(1)
            check_code[1] = read_data[0]
        except:
            print('next signal does not exist')
            return False
    return True

[NVIDIA GPU 활용 발표] CUDA | TensorRT

오모짱_ — Fri, 14 Jul 2023 13:49:51 +0900

CPU? GPU?

CPU	GPU
Central Processing Unit	Graphics Processing Unit
Several cores	Many cores
Low latency	High throughput
Good for serial processing	Good for parallel processing
Can do handful of operations at once	Can do thousands of operations at once

CUDA(Computed Unified Device Architecture

"CUDA is a parallel comoputing platform and programming model that makes using a GPU for general purpose computing simple and elegant."

프로그래밍 언어로 작성된 프로그램을 CUDA extention을 통해 GPU 연산이 가능하게 만드는 컴퓨팅 플랫폼이자 프로그래밍 모델

GPU에서 실행되는 코드로, 메모리 구조를 관리해야 하는 까다로운 작업..

=> 딥러닝을 위해 CUDA 코드를 직접 작성하는 일은 없을 것!

"CUDA enables developers to speed up compute-intensive applications by harnessing the power of GPUs for the parallelizable part of the computation"

TensorRT

학습된 딥러닝 모델을 최적화하여 NVIDIA GPU 상에서 추론 속도를 향상시켜 딥러닝 서비스 개선하는데 도움 주는 모델 최적화 엔진

Pytorch, Tensorflow 등 딥러닝 프레임워크를 통해 짜여진 모델을 TensorRT를 통해 모델 최적화

=> JETSON TX2, NVIDIA GPU 플랫폼에 싣는 것

EX_

Pytorch 통해 학습된 모델을 Onnx로 변환하고, Onnx 모델을 TensorRT Engine으로 변환해 사용

Training | Inference

학습: 축적된 데이터를 바탕, 신경망 내의 정보 전달 관련 가중치를 업데이트 하여 딥러닝 모델 만들기

- 요구되는 하드웨어 성능 = Throughput

Forward/Backward Propagation을 반복하기 때문에 대량의 데이터를 한번에 많이 처리할 수 있는 Throughput 요구

=> 연산량이 큰 가속기 GPU

추론: 만들어진 모델을 활용해 주어진 입력에 대한 해석 결과

- 요구되는 하드웨어 성능 = Latency

추론 요구의 도착부터 수행 완료까지 걸리는 시간

GPU 가속을 위해서 어쩌구.. 활용 방법에 대한 발표였는데

CUDA 에서는 자체적인 GPU 내 메모리를 할당 해제 관리 가능하다

=> 여러 연산 수행 시 데이터를 GPU 메모리로 복제하고 연산 수행

CUDA Runtime API: System Memory를 Host, GPU Memory를 Device로 구분

1. 데이터를 System Memory에서 GPU Memory로 (HostToDevice)
2. GPU Memory에서 GPU Memory로 (DeviceToDevice)
3. GPU Memory에서 System Memory로 (DeviceToHost)

데이터를 읽어서 GPU로 처리하는 일련의 과정은 Storage -> System Memory -> Device Memory로 데이터 복제

반복되어 성능 저하의 원인이 된다.. -> 이거를 어떻게 해결하면 좋을지

~~그래서 이거를 어디다 쓸 수 있는걸까..?~~

Set-to-Sequence Methods in Machine Learning:a Review

오모짱_ — Fri, 14 Jul 2023 11:06:24 +0900

리뷰 논문: Set-to-Sequence Methods in Machine Learning: a Review

집합 -> sequence 출력에서 의 기계학습

-응용) 언어 모델링, meta-learning to multi agent atrategy games, power grid optimization

1. Introduction

1.1 What is Set-to-Sequence?

-input = 순서가 없는 원소들의 모음 (Set)

-output = 순서가 있는 Sequence

Problem

- 조합 최적화

Combinatorial Optimization: 유한 탐색 공간에서 최적해 찾기

- Traveling Salesman

- Jop ship scheduling

- Knapsack Problem

대부분 NP-Hard Problem

- TSP

여행 거리의 총합이 최소가 되도록 전체 노드이 순회 순서 결정하기

n개 노드에 대한 모든 순열 탐색 -> 적절한 heuristic 사용해 탐색 공간을 줄이는 방식으로 효율 높인다

딥러닝을 사용해 TSP 문제의 학습이 가능함을 보임 (Pointer network)

=> 임의 개수의 노드에 대해 동작할 수 있다는 것이 특징

=> 상대적으로 적은 노드의 TSP 학습 후, 더 많은 노드의 TSP 에 대해 동작하도록

- 구조 예측

=> 집합 인코딩, 순열 학습

이미지/저연어 문장(구조화된 데이터)과 달리 <-> 집합 = 내부 구조/순서 없다

=> 의미있는 순열 불변 표현을 얻는 것이 중요 (meaningful permutation invariant representations)

=> 집합 요소의 순서와 무관한, 집합의 핵심 특성이나 특징

1.2 Why Does Set-to-Sequence Matter?

계산적으로 다루기 어려운 문제에 대한 approximate solution 제공 가능

_Travelling Salesman Problem

_tackling prominent NLP challenges such as sentence ordering

_text summarization

_multiagent reinforcement learning

_the agent employed by the AlphaStar model

✎

Section 2

필요한 배경 개념과 관련 연구 소개

표기법에 대한 구체적인 설명

Section 3

집합 인코딩 방버의 개요 제시

수학적 변환의 세부 사항

Section 4

인코딩된 집합 표현을 사용해 복잡한 순열 출력하는 방법 조사

Section 5

현재 한계와 추가 연구 방향

Section 6

요약

3.2 Pointer Network

수정된 어텐션 메커니즘을 포함한 인코더-디코더 구조

learning a target reordering of input elements

- 다양한 입력 크기의 조합 최적화 문제를 해결하기 위해 설계

- 잘 일반화되는 것으로 알려짐

- content-based attention 메커니즘의 수정 포함

- 모델의 출력을 입력 시퀀스 요소를 가리키는 포인터로 취급

<= 모델이 입력 순열을 출력할 수 있는 방법 중 하나..

3.2.1 Pointer Networks Limitations

1. 입력을 집합을 처리하지 않고 순차적인 순환 신경망을 통해 처리해

- 인코딩된 집합의 순열 불변 표현을 얻지 못한다 > 동일한 집합이 서로 다른 순서로 표현될 수 있어

- 모델이 서로 다른 출력을 예측할 수 있는 상황 발생

= 최적의 순서를 반환하는 것은 보장되지 X

2. 모델이 입력 집합이나 시퀀스의 잘못된 재정렬 출력 가능

- 추론 중에 beam search나 점진적으로 마스킹하는 방법으로 완화 가능

3.2.2 Pointer Networks Details

포인터 네트워크는 RNN encoder와 수정된 어텐션 메커니즘을 가진 RNN decoder 로 구성

모델은 각 디커도 단계 j 에서 content 기반 어텐션 벡터 aj 를 얻는다

이 벡터는 각 입력 요소 xi 가 해당 단계에서 가리키는 올바른 요소로서의 조건부 확률 <= 이전 모든 단계와 전체 입력 시퀀스에 의존

각 요소 xi는 정확히 한 번 가리켜야 한다.

=> 음이 아닌 정수 포인터로 이루어진 출력 시퀀스 yi 가 유효한 순열 π를 나타내도록

dj는 j 번째 출력 요소에서의 디코더 은닉 상태,

ei는 i 번째 입력 요소에서의 인코더 은닉 상태

W1, W2, v는 학습 가능한 tensor

zj는 입력 x의 길이와 동일, 입력 요소의 사전에 대한 출력 분포

3.2.3 Pointer Networks Applications

- 조합 최적화 문제에 대해 테스트 결과

문제 규모에 따라 제한적이지만 근사 솔루션 학습 가능

글을 날림으로 읽지 말고 이해하자..

[PyQt5] Python을 위한 GUI 라이브러리

오모짱_ — Fri, 14 Jul 2023 11:05:17 +0900

1. Layout

: 어플리케이션 창 위에 위젯을 배치하는 방식

1.1 Absolute positioning

각 위젯의 위치와 크기를 픽셀 단위로 설정해 배치

- 창의 크기를 조절해도 위젯의 크기/위치는 변하지 않아

- 플랫폼에 따라 어플리케이션이 다르게 보일 수 있어

- 폰트 변경 시 레이아웃 망가질 수 있다

=> 레이아웃 변경 시 완전히 새로 고쳐야 하므로 매우 번거로움..

1.2 Box layout

QHBoxLayout, QVBoxLayout은 여러 위젯을 수평, 수직으로 정렬하는 레이아웃 클래스

각 생성자는 수평, 수직의 박스를 하나 만들어 <- 다른 레이아웃 박스 or 위젯 배치

addStretch() - 필요한 공간 만들고, stretch factor 조절

vbox = QVBoxLayout()
vbox.addStretch(3)
vbox.addLayout(hbox)
vbox.addStretch(1)

1.3 Grid layout

grid = QGridLayout()
self.setLayout(grid)

QGridLaoyout을 만들고, 어플리케이션 창의 레이아웃으로 설정한다.

grid.addWidget(QLabel('Title:'), 0, 0)		# 추가할 위젯, 행, 열
grid.addWidget(QLabel('Author:'), 1, 0)
grid.addWidget(QLabel('Review:'), 2, 0)

Layout 중첩

https://wikidocs.net/5245

2. Widget

어플리케이션을 이루는 기본 구성 요소, PyQt 툴킷에서 다양한 위젯을 제공한다.

+ 둘러보기

3. Dialog

사용자가 데이터를 입력, 수정, 어플리케이션 설정 변경하는 작업하는데 사용 (대화창)

+ 둘러보기

4. Signal / Slot

PyQt에서 이벤트(=signal) 처리 할 때 사용되는 함수, 이벤트 핸들러를 슬롯이라고 한다.

사용자 정의 시그널

class Communicate(QObject):

    closeApp = pyqtSignal()

Communicate class 속성으로 closeApp 시그널을 생성한다.

class MyApp(QMainWindow):

    def __init__(self):
        super().__init__()
        self.initUI()

    def initUI(self):
        self.c = Communicate()
        self.c.closeApp.connect(self.close)

        self.setWindowTitle('Emitting Signal')
        self.setGeometry(300, 300, 300, 200)
        self.show()

    def mousePressEvent(self, e):
        self.c.closeApp.emit()

MyApp 클래스의 close() 슬롯에 연결되고 mousePressEvent 핸들러를 사용해, 마우스 클릭 시 closeApp 시그널이 동작

4. PyQTt5 그림 그리기

QPainter 클래스는 GUI 프로그램에 필요한 '그리기'와 관련된 기능을 제공한다.

QPainter 의 동작은 일반적으로 위젯의 페인트 이벤트를 통해 이루어진다.

5. 실행파일 만들기 (PyInstaller)

PyInstaller 를 이용해 python과 pyQt로 제작한 GUI 프로그램을 실행파일(exe)로 만들 수 있다.

1. Pyinstaller 패키지 설치

pip install pyinstaller

2. python 파일이 있는 폴더로 이동 후, 아래 명령어로 해당 폴더에 실행 파일 생성

pyinstaller (-w | -F) file_name.py

콘솔창이 출력되지 않게 하려면 -w 또는 -windowed 옵션을 추가한다

실행 파일 하나만 생성하기 위해서는 -F 또는 -onefile 옵션을 추가한다

Pointer Networks

오모짱_ — Thu, 13 Jul 2023 13:45:07 +0900

논문: Vinyals, Oriol, Meire Fortunato, and Navdeep Jaitly. "Pointer networks." Advances in neural information processing systems. 2015.

Abstract

조합 최적화 문제를 딥러닝을 활용해 해결하기 위한 모델 제안 => Pointer Networks

? 조합 최적화 문제: 입력으로 주어진 요소 중 최적의 조합 찾기, ex) 최단 경로 문제

입력 길이에 의존하기 때문에, 가변적 입력 길이 문제에 대해 기존 모델로 좋은 성능을 얻기 어려워

: seq2seq 과 neural turing machine 접근법으로는 문제를 해결하기 어려움

* seq2seq: 고정된 입력에 대해 문제를 해결할 수 있어

* attention 메커니즘: 각 디코더 단계에서 인코더의 hidden state -> context vector로 혼합

* ptr-net: 어텐션을 포인터로 사용해 입력 시퀀스의 구성원을 출력으로 선택

논문에서 소개하는 조합 최적화 문제 3가지 planar convex hulls | computing Delaunay triangulations | planar Traveling Salesman Problem

=> ptr-nets 으로 approximate solution을 학습 가능

1. Introduction

RNN: 입력과 출력이 고정된 프레임 속도로 사용 가능한 설정에 제한,

-> 하나의 RNN 사용해 입력 시퀀스 임베딩으로 매핑하고, 다른 RNN 사용해 임베딩을 출력 시퀀스로 매핑해 제한 제거

-> context-based attention 메커니즘 사용해 입력으로부터 문맥 정보를 디코더에 전달해 보강

순환 신경망 (Recurrent Neural Network, RNN)

- 시퀀스 데이터를 처리하는 데 특화, 자연어 처리, 음성 인식, 시계열 예측 문제에 사용

ex_ 번역기:

- input = 번역하고자 하는 단어 시퀀스인 문장

- output = 번역된 문장 (단어 시퀀스)

- 동일한 가중치와 bias를 공유하면서 반복되는 구조, 길이가 긴 시퀀스에 대해서 일정한 크기의 파라미터만 사용하여 학습 가능

- Long-term dependency problem, 입력과 출력 사이의 거리가 멀어질수록 정보를 기억하지 못해

=> LSTM과 GRU 같은 RNN 의 변형 개발: 기본 구조에 GATE 메커니즘 추가

• 간단하고 효과적인 새로운 구조 제안, 가변적인 길이에서 발생하는 문제를 해결하기 위해 sofmax 분포를 포인터로 사용

• 기하학과 관련된 3가지 알고리즘 문제에 적용해, 학습된 모델이 훈련 문제보다 테스트 문제에 대해 일반화된다는 것을 보여줌.

• 50 이하의 크기에서 TSP 문제에 대한 근사적인 해답 제공, 계산적으로 다루기 힘든 문제에 대해 데이터 기반 접근법으로 대략적인 솔루션 학습할 수 있음 보여줌.

2. Models

2-1 Sequence-to-Sequence

주어진 훈련쌍에 대해 모델은 조건부 확률 계산, 매개 변수 θ를 가진 모델을 사용해 확률 체인 룰의 항목 추정

P = 길이 n의 시퀀스

C = 1 .. n 까지의 인덱스 포함하는 길이 m(P)의 시퀀스

모델의 매개변수는 훈련 세트의 조건부 확률 최대화 하는 방식으로 학습.

LSTM 사용하여 조건부확률 모델링. RNN은 각 시간 단계 i 에서 Pi 를 입력으로 받아, 입력 시퀀스 끝까지 진행. (특수 심벌 ⇒ 입력)

네트워크는 generation mode로 전환되어 특수 심벌 ⇐를 만날 때까지 작동한다.

(통계적 독립성 가정 X, 2개의 RNN -> encoder, decoder)

추론 단계에서 시퀀스 P에 대해 학습된 θ 사용하여 확률이 가장 높은 시퀀스 Cp선택

beam search 사용해 beam 크기에 따라 최상의 시퀀스 찾아

(beam search: 일정 개수의 후보 시퀀스 유지하고, 각 시퀀스의 확률 계산해 우수한 후보 선택)

seq2seq 모델에서 모든 Ci 에 대한 출력 사전 크기는 n 으로 고정(입력에서 선택된다)

=> 각 n 에 대해 별도의 모델 훈련

=> 입력 시퀀스 길이에 따라 출력 사전의 크기가 달라지는 문제 해결 학습 불가능!!

출력 수가 O(n)인 경우, 모델 계산복잡도 = O(n)

Convex hull 문제 복잡도 = O(n log n)

Attention mechanism 은 해당 모델에 더 많은 계산 용량 추가해, 성능 향상시키는 데 도움이 되는 추가적인 계산 능력 제공

2-2 Content Based Input Attention

기본 seq2seq 모델은 입력 p 의 끝에서 RNN의 고정 차원 상태를 사용해 전체 시퀀스를 생성해 생성 모델로 흐르는 정보와 계산양이 제한됨.

Attention 모델은 인코더, 디코더에 추가적인 신경망 도입해 전체 인코더 상태 시퀀스에 대해 어텐션 메커니즘 적용

인코더, 디코더의 hidden state 를 (e1, ... , en) , (d1, ... , dn)이라고 정의 했을 때

LSTM RNN 에 대해서 출력 게이트가 셀 활성화와 요소별로 곱해진 후의 상태 사용

각 출력 시점 i 에서 어텐션 벡터 계산 방법:

- softmax: 벡터를 입력에 대한 어텐션 마스크로 정규화

- v, W1, W2: 학습 가능한 매개변수

- d_: 재귀 모델의 다음 시점에 전달되는 hidden state

각 출력마다 n개의 연산을 수행하므로, 추론 시 계산 복잡도 = O(n^2)

- Convex hull 문제에서 seq2seq 모델보다 우수한 성능보이지만

=> 출력 크기가 입력에 따라 달라지는 문제에 적용할 수 없다!

2-3 Ptr-Net

- seq2seq:

파란색(RNN): 입력 시퀀스 처리해 code vector 생성,

code vector 사용해 probabiltity chain rule과 다른 RNN 통해 출력 시퀀스(보라색) 생성

(출력의 차원은 문제 차원과 동일하며 훈련/추론 중에 고정된다.)

- Ptr-Net:

인코딩은 시퀀스를 파란색(code)로 변환하고, 이 코드를 generating network(보라색)에 전달한다.

generating network는 입력에 대한 content-based attention 메커니즘을 조절하는 벡터 생성

어텐션 메커니즘의 출력은 입력 길이와 동일한 크기의 Softmax distribution

입력 시퀀스 길이에 따라 출력 크기가 달라지는 조합 문제에 직접 적용할 수 없어

-> 어텐션 메커니즘 재활용 => 입력에 대한 포인터 생성 (data driven 방식으로 근사적인 해결책 생성)

- softmax: 벡터 u를 입력에 대한 출력 분포로 정규화

- v, W1, W2: 출력 모델의 학습 가능한 매개변수

=> encoder state(e_i) 를 혼합하여 디코더로 전달하는 대신 입력 요소를 가리키는 포인터로 사용한다.

=> C(i-1)에 대해 조건을 걸기 위해 해당하는 Pc(i-1) 을 입력으로 복사한다.

** 출력이 이산값이며 입력 위치에 해당하는 문제를 대상으로 한다.

RNN 사용하여 대상 점의 좌표를 직접 출력하는 방식으로 학습 가능.

** 추론 시 출력이 입력과 정확히 대응되어야 한다는 제약을 지키지 못해, 제약이 없으면 예측은 긴 시퀀스에서 흐릿해질 수 있다

3. Motivation and DataSet Structures

3.1 Convex Hull

훈련 데이터 입력은 n개의 요소를 가진 평면상의 점 집합(P)

Pj = 볼록 껍질, Delaunay triangulation, Travelling Salesman 문제 해를 찾기 위해 사용되는 점의 직교 좌표

모든 경우에 대해 [0, 1] x [1, 0] 범위 균일한 분포에서 샘플링한다

출력 Cp 는 점 집합 P에 대한 솔루션 나타내는 시퀀스

input/output pair (P, C P ) for the convex hull and the Delaunay problems.

3.2 Delaunay Triangulation

평면상의 점 집합 P에 대한 Delaunay 삼각 분할: 모든 삼각형 내부에 P의 어떤 점도 포함되지 않는 삼각분할

O(n log n) solution 제공

Cp 시퀀스의 어떤 순열도 P에 대한 동일한 삼각분할을 나타낸다.

& 3개의 정수로 이루어진 삼각형 표현 Ci 도 순열이 될 수 있음

=> 손실 감소시키지 않기 위해 훈련 시 볼록껍질에 대해, 삼각형 Ci를 중심 좌표에 따라 정렬하고 증가하는 삼각형 표현을 선택한다.

(순서를 적용하지 않은 경우, 학습된 모델의 성능 좋지 않아)

3.3 Travelling Salesman Problem (TSP)

외판원 문제: 마이크로칩 설계, DNA 시퀀싱에 사용되는 알고리즘 >> 평면 대칭 TSP 에 초점

주어진 도시 목록에서 각 도시를 정확히 한 번씩 방문, 시작점으로 돌아가는 가장 짧은 경로 찾기 => NP-Hard 문제

(두 도시 간의 거리는 반대 방향에서도 동일하다 가정)

Convex hull 과 유사한 형식,

P: 도시를 나타내는 직교 좌표, [0, 1] x [1, 0] 사각형에서 무작위로 선택

Cp: 최적 경로, 1 ~ n 까지의 정수 순열

정확한 데이터를 생성하기 위해 Held-Karp 알고리즘 구현

: O(2^n * n^2) 복잡도로 최적해를 찾는다.

4. Empirical Results

4.1 Architecture and Hyperparameters

모든 실험/dataset 에서 거의 동일한 아키텍처 사용 (동일한 하이퍼 파라미터 적용 하는 것이 논문 메시지 강화)

256 or 512 개의 hidden unit 이 있는 단일 레이어 LSTM 사용

- learning rate = 1.0

- batch size = 128

- random uniform weight = -0.08 ~ 0.08

- L2 gradient clipping = 2.0

Generated 1M training example pairs (task 가 단순한 경우 overfitting 발생)

10 to 20 epoch 이후 Training converged

4.2 Convex Hull

- 정확도 (accuracy) : 최적 convex hull 과 완전히 일치한 정답을 내놓은 경우

- area convered of the true convex hull : 최적 convex hull 과 겹치는 영역의 비율

- FAIL: 제대로된 polygon을 만들어 내지 못하는 경우

Comparison between LSTM, LSTM with attention, and Ptr-Net model on the convex hull problem.

<결과 해석>

- Ptr-Net으로 달성한 AREA는 100% 에 가깝다.

- n = 500: convex hull 에서 해결해야 하는 common source of errors, 추론 중 인코더 입력 순서가 성능에 영향을 미친다

=> convex hull의 점들이 입력 시퀀스에서 늦게 나타나면 때 정확도가 낮아진다. 왜??

=> 아마 네트워크가 최신 점들이 나타날 때까지 계산한 convex hull을 "update"하기 충분한 처리 단계가 없어

=> 2.2 절에서 어텐션 메커니즘 사용해 디코더가 언제든지 전체 입력을 확인 할 수 있도록! 성능 향상 O

=> Attention의 초점 = 입력 부분에서 정답을 "pointing" => 2.3절 Ptr-Net inspired ^^

LSTM 과 Attention LSTM 보다 우수한 성능

-> 가변 길이: 모델을 5~50 까지 다양한 길이로 훈련할 때, 모든 길이에 대해 잘 수행

-> 모델이 훈련 중에 본 적없는 길이에 대해서도 수행, 모델이 단순한 Lookup 이상을 학습한 것을 간접적으로 나타냄

(LSTM, LSTM with Attention dms n != n 인 경우, 새로운 모델 훈련시켜야 사용 가능)

4.3 Delaunay Triangulation

Convex hull 찾기 문제와 연결.. 주어진 점들의 들루네 삼각분할은 convex hull을 삼각형으로 분할

입력 점 집합 P에 대해 output sequence = 하나의 집합 (요소들의 임의의 순열은 동일한 triangulation을 나타낸다)

- acuracy

- triangle coverage in percentage(올바르게 예측된 삼각형의 백분율)

Ptr-Net

( n=5 )의 경우, accuracy = 80.7%, coverage = 93.0%

(n=10)의 경우, accuracy = 22.6%, coverage = 81.3%

(n=50)의 경우, accuracy = ??.?%, coverage = 52.8% [그림 참조]

4.4 Travelling Salesman Problem (TSP)

NP-Hard: planar symmetric travelling salesman problem

순차적인 출력을 가지고 있다.. Ptr-Net이 O(n^2) 알고리즘을 구현하고 있는데, 데이터만으로 유용한 알고리즘 학습할 충분한 용량 가지는지 불분명

상대적으로 작은 n 에 대해 정확한 솔루션 생성, 훈련 데이터로 사용하는 것이 가능하다.

더 큰 n에 대해서는 합리적인 근사해를 제공하는 알고리즘 존재..

convex hull과 delaunay 삼각분할과 달리, 디코더를 제한하여 유효한 경로만 고려하도록 beam search 설정

- 두 개의 도시를 반복하거나 목적지를 무시할 수 있어 (n이 20 초과인 경우 관련 있다, 작은 경우 제한 없어도 실패율 낮아)

표의 첫 번째 그룹: 최적 데이터로 훈련된 Ptr-Net

최악 알고리즘(A1) 데이터 사용하여 훈련시킨 경우, 모델이 해당 알고리즘 모방하는 것 보다 뛰어난 성능 보여

5-20 개의 도시로 훈려된 최적 데이터로 훈련된 Ptr-Net이 그 이상의 경우에 대해 어떻게 일반화 하는지 보여

n=40 이상인 경우 결과 악화 <-> Convex hull의 경우 10배 정도 일반화 가능한데 기반 알고리즘이 O(n log n)보다 더 복잡하기 때문일 수 O

5. Conclusions

그래서@@

Ptr-Net 이라는 새로운 아키텍처 소개

-> P와 Cp 두 개의 시퀀스가 주어졌을 때, Cp의 조건부 확률 학습 (Cp 는 P 위치에 해당하는 discrete tokens의 시퀀스)

-> 세 가지 조합 최적화 문제의 솔루션 학습 할 수 있음 보임

-> ⭐가변적(variable) 입력에 의존적인 출력 차원 조절, 기존 seq2seq이 수행할 수 없는 작업!!

-> Ptr-Net 이 고정된 입력 크기 문제에서도 기존 모델 능가

과거 RNNSearch, Memory Networks, Neural Turing Machines

= 입력 처리하기 위해 attention 메커니즘 사용

= variable ouput dictionaries 문제 처리할 수 없어

출력에 attention 메커니즘 적용해 해당 문제를 해결할 수 있음 보였다

-> 인공적인 가정 없이 신경망을 적용할 수 있다

-> 본 논문에서 RNNSearch 에 적용하였지만 Memory Networks와 Neural Turing Machines에 동일하게 적용 가능

Seminar

* Oriol Vinyals: Google DeepMind 의 수석 과학자, 머신러닝, 딥러닝 및 강화 학습 중점

* Meire Fortunato: Google DeepMinde 의 연구 과학자, 시퀀스 모델링, 탐색, 강화 학습에서 메모리 역할 이해 등 기계학습 주제 작업

* Navdeep Jaitly: Google brain 팀의 연구 과학자, 시퀀스를 위한 새로운 딥 러닝 모델 연구

일반적인 seq2seq , attention 한계

=> 학습 시 정해진 차원에 대한 출력만 결과로 할 수 있어

=> Ptr-Net을 사용하면 출력 차원이 input set 크기와 같게 만들어 구조적 한계 극복!!

(solution 차원이 input set의 element 갯수와 같은 크기를 가져야 하는 조합 최적화 문제에 가장 필요한 기능)

1. ⭐가변적(variable) 입력에 의존적인 출력 차원 조절 (새로운 아키텍처 제안: softmax 분포를 포인터로 사용)

2. Convex hull, Delaunay triangluation, TSP 같은 문제들에 적용하여 검증

3. 순수 data driven 방식만으로 NP hard 문제에 대한 대략적 solution 제공 (작은 범위 내에서)

Attention 메커니즘을 사용해 순서 정보는 보존하면서 시퀀스 내 특정 위치를 가리킬 수 있는 모델 구축

학습 모델의 목표 = (P, Cp) 애 대해 조건부 확률 p(Cp | P; θ) 구하기

Ptr-Net > attention mechanism 에서 attention value 를 구하기 전 단계; attention distribution 까지만 출력으로

> 최대 값을 input set 의 index 로 하여 출력이 input 요소를 가리키도록 구조 짜여져

"Pointing"

We inspected what attention was focusing on, and we observed that it was “pointing” at the correct answer on the input side. This inspired us to create the Ptr-Net model described in Section 2.3.

출력 위치 예측하기 위한 가중치 학습 -> 입력 시퀀스 요소에 따라 동적으로 결정, 적절한 위치로 포인팅

seq2seq

RNN을 어떻게 조립했는가에 따라 seq2seq 구조 만들어진다

2개의 RNN 아키텍처(성능 문제로 바닐라 RNN > LSTM 또는 GRU 구성)

* 인코더: 입력 문장의 모든 단어들을 순처적으로 받아 => 마지막에 모든 단어 정보 압축해 하나의 벡터로 만들어 => CONTEXT vector

* 디코더: context vector 받아 번역된 단어를 하나씩 순차적으로 출력,

다음에 올 단어를 예측 -> 예측한 단어를 다음 시점의 RNN 입력으로 넣는 행위 반복

Embedding

seq2seq 에서 사용되는 단어들은 임베딩 벡터로 변환 후 입력으로 사용

모든 단어에 대해 임베딩 과정 거쳐 (embedding layer), 보통 임베딩 켁터는 수백 개의 차원을 가질 수 있어..

Decoder

디코더는 인코더의 마지막 RNN Cell의 hidden state인 context vector를 첫 번째 히든 상태 값으로 사용.

첫 히든 상태 & 현재 t 에서의 입력값<sos> => 다음에 등장할 단어 예측

출력 단어로 나올 수 있는 다양한 단어 중, 선택될 수 있는 모든 단어들로부터 하나의 단어 골라 예측

Softmax: 디코더에서 각 시점의 RNN cell 에서 출력 벡터 => softmax 통해 출력 시퀀스의 각 단어별 확률값 반환 => 출력 단어 결정

context vector를 디코더 초기 히든 상태로만 사용

디코더가 단어를 예측하는 매 시점마다 하나의 입력으로 사용

attention 메커니즘 통해 현재 context 벡터보다 문맥을 반영할 수 있도록 매 시점마다 하나의 입력으로 사용

Attention Mechanism

RNN 기반의 seq2seq 모델 문제

1. 하나의 고정된 크기 벡터에 모든 정보 압축 => 정보 손실

2. RNN: Vanishing gradient

=> 입력 시퀀스가 길어지면 출력 시퀀스의 정확도 떨어지는 것 보정!

=> Attention

* 디코더에서 출력 단어를 예측하는 매 시점마다, 인코더에서 전체 입력 문장을 다시 한 번 참고

=> 해당 시점에서 예측해야 할 단어와 연관이 있는 입력 단어 부분에 더 집중

Attention(Q, K, V) = Attention Value

주어진 Query 에 대해 모든 Key와의 유사도 구해

구한 유사도를 키와 매핑되어 있는 Value에 반영

유사도가 반영된 Value를 모두 더해 return => attention vlaue

Q = Query : t 시점의 디코더 셀에서의 은닉 상태
K = Keys : 모든 시점의 인코더 셀의 은닉 상태들
V = Values : 모든 시점의 인코더 셀의 은닉 상태들

Dot-Product Attention

디코더 3rd LSTM cell 에서 출력 단어 예측 시 attention 메커니즘 사용

=> 출력 단어를 예측하기 위해 인코더의 모든 입력 단어 정보를 다시 한번 참고한다

=> 인코더의 softmax 함수 => 입력 단어 각각이 출력 단어를 예측할 때 얼마나 도움이 되는지 정도 수치화

=> 이를 하나의 정보로 담아서 디코더로 전송 => 디코더가 출력 단어를 더 정확하게 예측할 확률이 높아진다

Attention Score

시점 t에서 출력 단어 예측하기 위해 디코더는 t-1 시점의 hidden state와 t-1 의 출력 단어 필요

=> Attention 메커니즘에서는 Attention Value 값 추가

Attention Score

- 현재 디코더 시점 t에서 단어 예측하기 위해 인코더의 모든 hidden state 각각이 디코더 현 시점 hidden state: st와 얼마나 유사한지 판단한 스코어 값

- dot-product attention에서는 이 값을 구하기 위해 st를 transpose 하고 각 hidden state와 내적을 수행해

softmax -> Attention Distribution

앞에서 구한 e^t에 softmax 적용하여 모든 값을 합하면 1이 되는 확률 분포를 얻는다

=> attention distribution

=> 각각의 값은 attention weight

Encoder attention weight와 hiddent state 를 가중합 => attention value

준비한 정보 하나로 합치기!

최종 결과 attention value (at)는 인코더의 문맥을 포함하고 있다 -> context vector

<-> seq2seq 인코더의 마지막 hidden state를 context vector 라고 부르는 것과 대조

attention 값을 구하면 이를 st와 결합해 하나의 벡터로 만드는 작업 수행 = vt

vt를 y_hat 예측 연산의 입력으로 사용해 인코더로부터 얻은 정보 활용하여 더 잘 예측할 수 있도록 ==> attention 메커니즘의 핵심!

vt를 바로 출력층으로 내보내기 전에 신경망 연산 추가.. 가중치 행렬과 곱한 후 tahn 함수 => 출력층 연산을 위한 st 얻어

(seq2seq과 비교? 출력층 입력이 t 시점의 hiddent state인 st <-> attention에서는 출력층의 입력이 st)

++ More..

dot-product attention 과 다른 attention 의 차이 = 중간 수식(attention score 함수)

- dot (Luong et al. (2015))

- scaled dot (Vaswani et al. (2017))

- general (Luong et al. (2015))

- concat (Bahdanau et al. (2015))

- location - base (Luong et al. (2015))

+ 읽을수록 모르겠는데 ^ㅗ^

|_ set-to-sequence method in machine learning => Pointer Network 확인

[Binary Protocol]

오모짱_ — Thu, 13 Jul 2023 10:13:14 +0900

Binary protocol

bit stream = 데이터 구조를 중심으로 다르게 구성

숫자 2020은 단일 데이터 유형 (2 byte)로 표시 ( uint16 )

- more compact, saves bandwidth, more performant

- 네트워크에서 데이터 교환 시 바이트 순서 (endianness) 고려

- message carry only data, but without information what that data means. Semantic is implicit and stay in a program used to decode/encode. So it requires separate program to decode.

- binary protocols are typically proprietary, it's less likely to be an open standard like XML or JSON

- 이전 버전과의 호환성 유지 어려워

- data structure consists of fixed and variable length fields, and always specifies length of the variable segments. It's easy to detect END boundary between packets/messages.

=> UDP 프로토콜과 같이 패킷 크기에 제한, 메시지 크기가 제한적일때 사용: 성능/대영폭 소비가 중요한 경우 사용한다

Text protocol

bit stream = 일련의 문자 or text 문자열 (ex. 유니코드 or ASCII)

두 컴퓨터는 문자 메시지 교환, 숫자 2020은 5개의 문자로 표현된다(5 byte)

- JSON, XML 을 준수하는 플랫폼 및 런타임 간의 interoperability

- 더 큰 크기의 메시지 생성

- can be easily, inspected, read, debugged

- self-explanatory, data is associated with names, that tell what that data means. Message captures semantics.

- can be extended in a backward-compatible way

- can be parsed and decoded by any 3rd party software. Does not need some proprietary program to decode.

- when multiple messages are sent, it's hard to detect the boundary between individual messages. Usually some sort of text delimiters are used (=====, newlines, etc).

Project

ADS1299-DK protocol

SOP(4bytes) + SequenceNo.(4bytes) + EMGdata_Ch(4bytes) * 2 channel  : 16 bytes

_EMG_Packet_Data_type = np.dtype([
                    ('SequenceNo', 'u4'),           # 32-bit unsigned integer
                    ('EMGdata_Ch0', 'i4'),          # 32-bit signed integer
                    ('EMGdata_Ch1', 'i4')])         # 16-bit unsigned integer

checksum_verify

- 패킷을 받았을 때 checksum_index

- index에 해당하는 checksum 값

- cal_checksum = -sum(packet[: checksum_index]) & 0xff

checksum 값과 계산한 checksum 값이 일치한다면 True

find_SOP

pSOP_code = [0xFF, 0xFF, 0xFF, 0xFF]
check_code = [0x00, 0x00, 0x00, 0x00]

serial_obj 받아 SOP_code와 check_code가 동일하지 않은 경우:

left shif 수행(np.roll)

read_data = serial_obj.read(1)

check_code[3] = read_data[0]

list_port_info

USB 디바이스 리스트와 정보들을 찾아 반환

try:
    from serial.tools.list_ports import comports
except ImportError:
    return None

if comports:
    com_ports = list(comports())
    port_info = []
    for port in com_ports:
        port_info.append(port[0]) # port name
        port_info.append(port[1]) # Identifier
        port_info.append(port[2]) # VID/PID
    if port_info:
       return port_info

serial_reading_Thread

global objSerial 에 대해 stop_thread_flag 가 아닌 경우

정의한 ADS1299 프로토콜 (16byte) 에 의해 .read(16)

unpack_data = struct.unpack("< I 2i", read_data[0:12])

( read_data[12:16] == b'\xff\xff\xff\xff'인 경우 SOP )

read_data를 가지고 원하는 데이터 처리

-- 해당 프로젝트의 경우, 읽은 데이터를 녹화해 .bin 파일과 .csv 파일로 저장한다

-- 디지털 필터링을 위한 array 저장

==== thread: lock.acquire()

original_signal = np.roll( -1)

filtering_signal

vEMG

==== thread: lock.release()

[C/C++] Dynamic-link Libraries (in Windows)

오모짱_ — Wed, 12 Jul 2023 15:31:37 +0900

Modularize program > seperate components > ease deployment & installation

https://medium.com/ai-innovation/how-to-create-c-c-dynamic-link-libraries-in-windows-28abefc988c9

1. Setup

윈도우에서 Shared libraries는 dynamic-link libraries (.dll) 이라고 부른다.

다른 플랫폼에서 shared object 는 .so 확장자를 사용한다.

2. Implementation

root

|_ include

|_ obj

|_ src

- include: 헤더 파일 저장, 컴파일된 공유 라이브러리와 상호작용 하는 방법에 대한 참조

- obj: 컴파일 중 생성된 임시 obj 파일 저장. (안전하게 삭제 가능)

- src: 함수 필수 코드 저장, 배포하는 동안 패키지에서 이러한 파일 제외

Header

include

|_add.h

#ifndef _ADD_H
#define _ADD_H
extern "C"
{
    __declspec(dllexport) int add(int, int);
    __declspec(dllexport) int sub(int, int);
    __declspec(dllexport) int mul(int, int);
}
#endif

Implementation code

src

|_add.cpp

#include "add.h"
extern "C"
{
    __declspec(dllexport) int add(int a, int b) 
    {
        return a + b;
    }
    __declspec(dllexport) int sub(int a, int b)
    {
        return a - b;
    }
    __declspec(dllexport) int mul(int a, int b)
    {
        return a * b;
    }
}

Main

include

obj

src

main.cpp

#include <iostream>
#include "add.h"
int main() {
    std::cout << add(2, 2) << " | " << sub(3, 1) << " | " << mul(3, 3) << std::endl;
    return 0;
}

Object Files

cl /EHsc /c .\src\*.cpp /I .\include /Fo".\obj\\"

/c: 소스 파일 위치

/I: 헤더 파일 위치

/Fo: 컴파일 중 생성될 임시 obj 파일 위치

Dynamic-link libraries

link /DLL /OUT:add.dll .\obj\*.obj

include

obj

src

add.dll

add.exp

add.lib

main.cpp

add.dll - shared library for program

add.exp - export library program

add.lib - static libarary

Executable file

마지막 실행 파일 만들기!

cl /EHsc main.cpp /Fetest.exe /I .\include /link *.lib

include

obj

src

add.dll

add.exp

add.lib

main.cpp

main.obj

test.exe

[Python] C 함수 호출을 위한 Wrapper 만들기

오모짱_ — Tue, 11 Jul 2023 16:29:27 +0900

'.so' file은 유닉스 계열 운영체제에서 사용되는 공유 라이브러리 파일이다.

C/C++로 작성된 소스코드를 컴파일하여 생성한다.

C 소스코드 작성

# 'mylib.c'
int add (int a, int b) {
	return a + b;
}

적절한 기능을 가진 C 소스 코드를 작성한다.

컴파일 명령 실행

gcc -shared -o mylib.so -fPIC mylib.c

-shared: 공유 라이브러리를 생성

-o: 출력 파일의 이름 지정

-fPIC: 위치 독립 코드(Position Independent Code) 생성

.so 파일 생성 확인

현재 디렉토리에 'myjlib.so' 파일이 생성되었는지 확인

'.so' 파일은 C/C++로 작성된 기능을 Python 등 다른 프로그래밍 언어에서 사용할 수 있는 형태로 제공한다.

Python Wrapper

import ctypes

# ```
# ctypes 모듈 사용해 c함수 호출하는 wrapper
# ```

path = './mylib.so'

# add 함수 signiture 정의
lib = ctypes.CDLL(path) # CDLL: C 라이브러리 로드
lib.add.argtypes = (ctypes.c_int, ctypes.c_int) # argypes: c 함수의 인자 타입 정의
lib.add.restype = ctypes.c_int  # restype: c 함수의 반환 타입 정의

# C 함수 호출
result = lib.add(2, 3)  # c 함수 반환 후 결과 출력
print(result)

+ Windows

1. Set up

add.dll

add_wrapper.py

2. Implementation

2.1 Import

from ctypes import *
from sys import platform

2.2 Load library

shared_lib_path = "./add.so"
if platform.startswith('win32'):
    shared_lib_path = "./add.dll"
try:
    add_lib = CDLL(shared_lib_path)
    print("Successfully loaded ", add_lib)
except Exception as e:
    print(e)

더 알아보기..

- pybind 11

[Python] Flask 기초

오모짱_ — Tue, 11 Jul 2023 11:58:51 +0900

Flask

웹 어플리케이션 개발을 위한 파이썬 프레임워크, 최대한 가볍게 개발하기 위해 Flask 사용^^

(파이썬 웹 개발 시 많이 쓰이는 프레임워크: Django)

Micro Web Framework: Flask

- 최소한의 구성 요소, 요구사항 제공

- 쉽고 필요에 따라 유연하게 사용 가능

- 쉽게 확장할 수 있도록 설계되어 있어 필요한 도구와 라이브러리 자유럽게 선택 적용 가능

Start Flask: Hello, World!

pip install Flask

from flask import Flask

app = Flask(__name__)

@app.route('/')
def home():
    return 'Hello, World!'

if __name__ == '__main__':
    app.run(debug=True)

run(debug=True) 명시하면 해당 파일의 코드를 수정할 때마다 Flask가 변경된 것 인식 -> 다시 시작

Route (URL ~ 웹페이지 연결)

웹 브라우저에서 url 방문하면 서버에 요청을 보내고, 서버는 그 요청을 처리해 브라우저에서 응답을 반환한다.

반환된 결과를 html 문서로 보내주면 웹 페이지를 브라우저가 띄워준다.

라우팅

:Flask에서 url 방문시 준비된 함수가 트리거되도록 바인딩하기 위해 route() 사용

@app.route('/path') 반드시 '/' 로 시작해야 한다

동적 URL

Flask는 바인딩 할 url을 지정할 때 <variable_name>을 명시하는 것이 가능

해당 변수는 함수에 인수 형태로 전달된다.

from flask import Flask

app = Flask(__name__)

@app.route('/')
@app.route('/home')
def home():
    return 'Hello, World!'

@app.route('/user/<user_name>/<int:user_id>')
def user(user_name, user_id):
    return f'Hello, {user_name}({user_id})!'

if __name__ == '__main__':
    app.run(debug=True)

html 렌더링

@app.route() 아래 적어주는 함수에서 return 하는 응답은 일반 텍스트, 데이터, 등등 다양한 형식이 될 수 있는데

일반적으로 웹 페이지에서 렌더링 할 html 직접 반환

from flask import Flask

app = Flask(__name__)

@app.route('/')
@app.route('/home')
def home():
    return 
    '''
    <h1> Title </h1>
    <p> content </p>
    <a href="https://flask.palletsprojects.com">Flask hompage</a>
    '''

@app.route('/user/<user_name>/<int:user_id>')
def user(user_name, user_id):
    return f'Hello, {user_name}({user_id})!'

if __name__ == '__main__':
    app.run(debug=True)

POSTMAN 사용한 로컬 API 테스트

https://www.postman.com/

[Mac] 맥북 터미널 꾸미기 | iTerm | 커스텀

오모짱_ — Sun, 2 Jul 2023 17:16:47 +0900

컴공에 들어간 동생 도와주다가 정리하게 된 맥북 터미널 커스텀

❏ Mac Terminal | iTerm

아무것도 모르고 컴공에 들어온 나와 1학년때부터 쭉 함께하는 사과들

할 수 있는 모든 커스텀을 해본다는 마음으로 깔짝거리던 시절

누구든 검색하게 되는 터미널 꾸미기: iTerm

❍ Setting

공식 홈페이지에서 다운 받거나 brew 명령어로 설치하기

brew install iterm2

Oh-my-zhs 설치

sh -c "$(curl -fsSL https://raw.github.com/robbyrussell/oh-my-zsh/master/tools/install.sh)"

기본 shell이 bash ⇢ zsh로 변경된다. 여기에 플러그인을 설치해서 다양한 기능 사용하기.

❍ Customizing

⚬ 테마 변경 (테마 목록)

보통 agonster라는 테마를 자주 사용하던데 취향대로 선택하기..

open ~/.zshrc

.zshrc 파일을 열어 ZSH_THEME 부분을 "agnoster"로 변경해준다.

⚬ 폰트 변경

테마를 바꾸면 폰트가 깨지는 문제가 발생하는데, 깨지지 않는 폰트로 바꿔줘야 한다.

이것도 보통 D2 Coding 폰트를 주로 사용한다. (☞ 글꼴 다운로드)

.tff 파일 받아서 설치!

iTerm2 > Preference > Profiles > Text > Font 를 D2Coding으로 변경한다.

(원래 터미널도 폰트가 깨지니까 동일하게 변경해줘야 한다)

⚬ 컬러 변경

설정에서 프리셋으로 변경할 수 도 있고 테마를 다운받아서 사용할 수도 있다. (☞ color shemes)

iTerm2 > Preference > Profiles > Colors > Color Presets > import 원하는 테마 클릭해서 변경하기

⚬ 상태바 설정

상태바 추가: iTerm2 > Preferences > Profiles > Session > Status bar enabled

Configure State Bar 버튼을 클릭해 상태바에 원하는 메뉴를 추가한다

상태바의 위치는 Preferences > Appearance > Status bar location > Bottom 에서 변경 가능

❍ 플러그인 설치

iTerm의 장점 ➭ 다양한 플러그인을 사용할 수 있는 것!!

⚬ 자동완성 기능

git clone https://github.com/zsh-users/zsh-autosuggestions ${ZSH_CUSTOM:-~/.oh-my-zsh/custom}/plugins/zsh-autosuggestions

git clone으로 플러그인을 클론하고

open ~/.zshrc에 플러그인 경로를 추가해준다.

plugins=( 
    # other plugins...
    zsh-autosuggestions
)

⚬ Syntax Highlighter

동일한 방법으로 플러그인 추가하기!

git clone https://github.com/zsh-users/zsh-syntax-highlighting.git ${ZSH_CUSTOM:-~/.oh-my-zsh/custom}/plugins/zsh-syntax-highlighting

plugins=( 
    # other plugins...
    zsh-syntax-highlighting
)

 Neofetch (☞ github link)

iTerm2 부팅 시 사용자의 정보가 뜨도록 하는 플러그인!

brew install neofetch

설치 후 open ~/.zshrc 의 맨 아래에 neofetch 추가해주기

[Mac] 업데이트 이후 command error 해결

오모짱_ — Fri, 30 Jun 2023 14:45:54 +0900

macOS 업그레이드 할 때마다 매번 하나씩 고장

개발 관련 도구 사용시 발생하는 missing xcrun error

조금 화나요^.^

도구들의 문제가 아니라 CommandLineTools를 식별하지 못해서 발생하는 문제로

xcode-select 명령어로 commandLineTools 설치하면 문제 해결 가능하다고 한다.. 휴!!

xcode-select --install

업데이트 이후 실행해보면 정상적으로 작동한다 :)

[Tistory] 첫 화면 특정 페이지로 설정하기

오모짱_ — Fri, 30 Jun 2023 14:10:51 +0900

첫 화면에 전체 글이 뜨는데 사진이 없으면 너무 초라해보인다ㅠ ㅠ

메인 페이지를 사진 가득한 카테고리 글로 바꿔버리고 싶어서 방법 찾기

❏ HTML 편집

1. 티스토리 관리자 페이지: 꾸미기 ➔ 스킨 편집

2. html 편집

3. html 소스 상단에서 <head> </head> 부분을 찾는다.

<script type="text/javascript">
	if ( window.location.pathname == '/' ) 
    {     
    	location.href = '첫 페이지로 고정하고 싶은 url';
    }
</script>

블로그 주소로 이동하면

원래 전체 글이 뜨던 메인 페이지에서

내가 설정한 주소로 이동하게된다 ^.^

⬇

이렇게 바꿔놨는데

다시 보니까 안예뻐서 새로운 방법 찾는 중..

주소가 굉장히 더러워진다

어떻게 해야 귀엽게 꾸밀 수 있을까

[Mac] Keka | Mac 압축 파일 해결

오모짱_ — Fri, 30 Jun 2023 13:53:29 +0900

mac에서 파일을 압축하면 윈도우에서 열었을 때

비어있는 폴더가 되는 경우가 있다

Keka로 압축하면 mac ➔ 윈도우 압축 문제 해결

App Store에서 다운받으면 6천원 정도의 유료 앱이지만

홈페이지로 들어가면 무료로 다운 받을 수 있다.

https://www.keka.io/ko/

Keka - macOS 압축 프로그램

압축파일의 용량이 너무 커서 공유할 수 없나요? 만약 파일 크기가 너무 커서 이메일 첨부 또는 서버 업로드가 불가능하다면, 분할 압축을 해보세요. 압축 해제 시 다시 원본 파일로 복구할 수

www.keka.io

기본 압축앱으로 설정해두고 사용하면

비어있는 압축 파일 걱정할 필요 없음 ^.^

m1에서 뭐때문인지 kekadefaultapp은 사용할 수 없더라..?

귀찮지만 매번 이런식으로 압축해야지 뭐 ㅠ ㅠ

[Raspberry Pi] 모니터 연결 | WiFi 설정 | SSH | VSCode

오모짱_ — Fri, 30 Jun 2023 13:51:20 +0900

뭘 하려고 했던걸까..?

❏ Raspberry Pi 4 _ 모니터 연결 해결법

라즈베리 파이랑 모니터랑 hdmi 연결해줬는데 화면이 표시되지 않는 경우가 가끔 있다

공소실 수업때도 이거때매 한참 헤맸던 기억이 있는데

> 파워 연결하고 옆에 케이블? 한번 뽑았다가 다시 연결해주기

녹색 불이 들어오면서 화면이 켜지는 걸 확인할 수 있다.

❏ Raspberry Pi 4 _ WiFi 설정, SSH 접속

이미 SD 카드에 Raspberry OS가 설치된 상황

> boot drive에 SSH, wpa_supplicant.conf 파일 만들기

SSH를 허용하기 위해 일단 SD카드(boot drive)에 이름이 SSH인 빈 파일을 만들어준다.

SSH.zip

0.00MB

연결할 Access Point (공유기/핫스팟)에 대한 정보를 wpa_supplicant.conf 담아준다.

(라즈베리 파이 3부터는 'country'를 적어줘야 한다)

wpa_supplicant.zip

0.00MB

이제 ssh 로 접속해주면 모니터 없이 사용 가능!

❏ Visual Studio Code + Raspberry Pi 4 _ Remote SSH

VNC Viwer로 접속하려는데 자꾸 에러..

https://www.realvnc.com/en/connect/download/viewer/

Download VNC Viewer | VNC® Connect

Control VNC® enabled computers with VNC® Viewer.

www.realvnc.com

> VSCode에서 시도해보기

1. Extension: Remote - SSH를 설치

2. Command Pallete (cmd + shift + p) > Open SSH Configuration File

Host 'name'
    HostName 'addr'
    User pi

Hostname에 들어갈 주소는 inet 을 사용해서 알아냈다.

3. Command Pallete (cmd + shift + p) > Connect to Host

새로운 VSCode Window 열리면서 ssh 접속 완료!

[Mac] M1 | UTM | Ubuntu 20.04 | Wired Settings | VSCode

오모짱_ — Fri, 30 Jun 2023 13:50:51 +0900

뭘하려고 했던건지..?

ubuntu에서 vscode 설치하기

sudo snap install --classic code

arm64에서는 사용할 수 없다고 한다..

snap으로 설치하면 한글 입력이 제대로 안된다고 하는 것도 있다니 참고!

그냥 홈페이지에서 다운받으면 안되나 싶었는데

인터넷 이슈..

Wired Unmanaged > Wired Setting

여기서 간단하게 추가해서 사용할 수 있던데

왜 VPN 밖에 안보이지..

새로 설치한 환경이라 기억이 가물가물

일단 net-tools를 설치하고 sudo apt update 한번 해주기

엥..? 연결 된다? 왜?

.deb의 arm64 환경을 다운로드 받아서 apt install 명령어로 설치해준다.

sudo apt install /path/Downloads/code_1.79.2-1686733230_arm64.deb

code

우분투에서 vscode 사용하기 성공 ^.^

✍️ 메모 메모

오모짱_ — Fri, 2 Jun 2023 14:35:58 +0900

❏ 뭐하지

~ 2023.12	2024. ~
→ 대학원 알아보기 → 휴학? 교환학생? → 자율주행 대회 → 토익 \| 토스 \| 토플 .. 900점 목표 → 인턴 (~ 08.31) → 연구과제 (sequence to set)	✈️ → (졸업) 일본 여행 → (대학원) 자취방 다시.. → ..? → 운전 연수..

❏ 건강 찾기 프로젝트

감태 주먹밥

강된장 쌈밥

유부 초밥

돈까스 김치 나베 우동

볶음 우동

✅ 오코노미야끼

마파두부

묵사발

[Emoji] 삽 이모티콘 | Unicode

오모짱_ — Sat, 11 Mar 2023 15:26:23 +0900

** 삽질 추가하기

여러가지 삽질을 블로그에 정리하려고

새로운 카테고리를 만들던 중..

내 농장에 삽을 추가하고 싶었는데

삽 이모티콘이 없는거 아시나요?

** 이모티콘 만들기

없으면 내가 만들어서라도 쓰고싶은데

이모티콘은 어디다가 문의하면 되나요ㅠ ㅠ

나같은 사람이 또 있던걸까ㅋㅋㅋㅋ

이모티콘은 여기서 만드는거였군요.!

삽 이모티콘 만들어줘요!!!!

** Unicode Emoji

새로운 이모티콘 신청을 위한 가이드라인

어쩌구 저쩌구.. 영어는 언제나 귀찮아요

Guidelines for Submitting Unicode® Emoji Proposals

Guidelines for Submitting Unicode® Emoji Proposals This page describes the process and requirements for submitting a proposal for new emoji characters or emoji sequences, including how to submit a proposal, the selection factors that need to be addressed

unicode.org

대충 그림 그려서 '이거 만들어줘' 였으면 얼마나 좋을까ㅠ ㅠ

신청하기 전에 뭔가 확인하라는 사항이 많아요

이미 신청된 이모티콘 목록을 확인할 수 있는데

이미 2번이나 되어 있는걸..?

지금은 2023년 ㅎ ㅎ

아니.. 근데 왜 아직까지 없어요??

신청기간은 4월부터.. ^^

뭐 새로운 이모티콘도 쓰고싶을때 신청해야겠다.