attention 썸네일형 리스트형 Attention Is All You Need 논문: Attention Is All You Need Attention RNN ➝ LSTM ➝ Seq2Seq ➝ Attention ➝ Transformer ➝ ... ☑ 기존 Sequence model의 문제점 ┕ RNN의 sequential 특징: 입/출력 sequence token(symbol) 위치 따라 연산 이전 step h(t-1)과 현재 입력 t로 h(t) 시퀀스 생성 ➔ parellelization 불가능, 메모리 제약.. ┕ 시퀀스 길이가 길어질수록 병렬화 중요해 ┕ 입력 문장을 하나의 context vector c로 압축 ➔ bottle neck 원인 ┕ RNN cell에서 참고하도록 만들어 성능 개선 가능 ➔ 문장이 길어져도 손실 정도 줄일 수 있지만, 여전히 병목 현상 문제.. ┕ 출.. 더보기 Pointer Networks 논문: Vinyals, Oriol, Meire Fortunato, and Navdeep Jaitly. "Pointer networks." Advances in neural information processing systems. 2015. Abstract 조합 최적화 문제를 딥러닝을 활용해 해결하기 위한 모델 제안 => Pointer Networks ? 조합 최적화 문제: 입력으로 주어진 요소 중 최적의 조합 찾기, ex) 최단 경로 문제 입력 길이에 의존하기 때문에, 가변적 입력 길이 문제에 대해 기존 모델로 좋은 성능을 얻기 어려워 : seq2seq 과 neural turing machine 접근법으로는 문제를 해결하기 어려움 * seq2seq: 고정된 입력에 대해 문제를 해결할 수 있어 * atte.. 더보기 이전 1 다음
