본문 바로가기

👩‍💻 도비는 공부중/📋 연구과제(2023.7 ~ )

[Setup] Window | Anaconda | Pytorch | CUDA | CUDNN CUDA - torch 버전 차이로 삽질 뭐하려고 했는지 모르겠 사전 확인: GPU 체크 PC에 장착된 GPU 모델 확인 ❍ NVIDIA GeForce GTX 1080 Ti ❍ CUDA Version: 12.0: 내 그래픽 카드에 설치할 수 있는 버전 Anaconda 설치 ❍ python 3.9.13 ❍ conda 23.5.2 CUDA 설치 nvcc -V로 버전 확인 가능 ❍ CUDA: V11.2.67 CUDNN Version Check (CUDNN 8 이후) C: > Program Files > NVIDIA GPU Computing Toolkit > CUDA > v11.2(자신 버전) > include > cudnn_version.h MAJOR - MINOR - PATCHLEVEL 순으로 버전 = 8... 더보기
SimGNN: A Neural Network Approach to Fast Graph Similarity Computation 논문: SimGNN: A Neural Network Approach to Fast Graph Similarity Computation ❍ WSDM 2019 ❍ network embedding, neural networks, graph similarity computation, graph edit distance ABSTRACT 그래프 유사도 검색 > 그래프 편집거리(GED), 최대 공통 부분 그래프(MCS) 그래프 문제를 해결하기 위한 새로운 신경망 기반 접근법 제안 1. 학습 가능한 임베딩 함수 설계 - 그래프를 임베딩 벡터로 매핑: 그래프의 요약 정보 제공 - 새로운 attention 메커니즘 도입: 유사도 지표에 따라 중요 노드 강조 2. pairwise node comparison: supplem.. 더보기
NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE 논문: NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE ❍ ICLR 2015 ABSTRACT 번역 성능 극대화 하기 위한 single neural network. 주로 인코더-디코더의 구조. => source 문장을 고정 길이 벡터(fixed-lenght vector)로 인코딩 후 디코더가 이를 활용해 번역 생성 * 고정 길이 벡터의 사용: 인코더-디코더에 병목 현상 일으켜. => 모델이 단어를 예측하는데 도움이 되는 source의 일부를 자유롭게 찾아낼 수 있는 방식 제안. * 영어 -> 프랑스어로의 번역 작업에서 좋은 성능 달성 모델이 찾아낸 (soft-) alignments 가 저자들의 직관과 일치함 보임 📚 [인코더-디코.. 더보기
[세미나] 준비 과정 | 시작이 절반 | 발표는 어려워 | 피드백 [07.18] INFOLAB 첫 세미나 연구과제로 참여하게 된 세미나! 2주의 시간과 함께 발표할 논문과 참고로 볼 논문 2가지를 주셨다. 발표하게 된 논문은 ☞ Pointer Network 퍼듀 생활에서부터 논문 읽기는 뭐 어렵지 않지 라고 생각했는데 막상 읽은 논문을 발표하려고 하니까 머리가 아팠다. 읽기 싫은 마음이 드는 순간부터 끝^^. 끝나고 드는 생각 = 좀 더 잘 할 수 있었을 것 같다.. 변명이지만 체력과 인턴 시간 관리를 못한게 좀 크지 않았나.. 1. 논문 읽고 이해하기 처음엔 아무 생각없이 읽어서 뭔소린지 이해도 안되고 보기 싫다는 마음이 커졌다.. 그럼 도망가면 된다는 교수님의 말씀이 생각나면서 꾸역꾸역 읽던 도중, 인턴 연구팀에 속한 논문 머신 박사님의 조언 "GPT를 잘 활용해라.. 더보기
Set-to-Sequence Methods in Machine Learning:a Review 리뷰 논문: Set-to-Sequence Methods in Machine Learning: a Review 집합 -> sequence 출력에서 의 기계학습 -응용) 언어 모델링, meta-learning to multi agent atrategy games, power grid optimization 1. Introduction 1.1 What is Set-to-Sequence? -input = 순서가 없는 원소들의 모음 (Set) -output = 순서가 있는 Sequence Problem - 조합 최적화 더보기 Combinatorial Optimization: 유한 탐색 공간에서 최적해 찾기 - Traveling Salesman - Jop ship scheduling - Knapsack Proble.. 더보기
Pointer Networks 논문: Vinyals, Oriol, Meire Fortunato, and Navdeep Jaitly. "Pointer networks." Advances in neural information processing systems. 2015. Abstract 조합 최적화 문제를 딥러닝을 활용해 해결하기 위한 모델 제안 => Pointer Networks ? 조합 최적화 문제: 입력으로 주어진 요소 중 최적의 조합 찾기, ex) 최단 경로 문제 입력 길이에 의존하기 때문에, 가변적 입력 길이 문제에 대해 기존 모델로 좋은 성능을 얻기 어려워 : seq2seq 과 neural turing machine 접근법으로는 문제를 해결하기 어려움 * seq2seq: 고정된 입력에 대해 문제를 해결할 수 있어 * atte.. 더보기