분류 전체보기 (47) 썸네일형 리스트형 Lec 6) Simple and LSTM RNNs 지난 강의에 이어 ○ 단순 RNN 언어 모델 (Simple RNN Language Model) 지난 수업에서 n-gram 언어 모델의 단점을 보완하기 위해 fixed-window 신경망 언어 모델을 사용하여 희소성(sparsity) 문제와 용량 문제를 해결하였다. 이후 simple RNN을 사용하여 입력값의 크기에 의존하지 않으며 어순에 대한 고려도 가능하게 되었다. ○ RNN 언어 모델의 학습 단어들의 나열인 $x^{(1)}, x^{(2)}, ..., x^{(T)}$ 큰 말뭉치를 준비 RNN 언어 모델에 넣어 결과 확률 분포 $\hat{y}^{(t)}$을 매 timestep t마다 구한다 timestep t에서의 손실 함수(Loss function)은 예측 확률 분포 $\hat{y}^{(t)}$와 실제.. Lec5) Language Models and RNNs 이전 강의: https://enjoythehobby.tistory.com/entry/Lec-4-Dependency-Parsing Lec 4) Dependency Parsing 이전 강의: https://enjoythehobby.tistory.com/entry/Lec3-Backprop-and-Neural-Networks Lec3) Backprop and Neural Networks 이전 강의: https://enjoythehobby.tistory.com/entry/Lec-2-Neural-Classifiers Le.. enjoythehobby.tistory.com 지난 강의에 이어 ○ Neural dependency parsing 에서 행동 결정 문제점 sparse vectors (one-hot encodi.. Lec 4) Dependency Parsing 이전 강의: https://enjoythehobby.tistory.com/entry/Lec3-Backprop-and-Neural-Networks Lec3) Backprop and Neural Networks 이전 강의: https://enjoythehobby.tistory.com/entry/Lec-2-Neural-Classifiers Lec2) Neural Classifiers 이전 강의: https://enjoythehobby.tistory.com/entry/Lec1-Word-Vectors Lec1) Word Vectors Denotati.. enjoythehobby.tistory.com 언어 구조를 보는 관점 이전까지 수업에서 우리는 언어학적 관점에서 단어의 의미를 공간에 embedding하고 NER.. Lec3) Backprop and Neural Networks 이전 강의: https://enjoythehobby.tistory.com/entry/Lec-2-Neural-Classifiers Lec2) Neural Classifiers 이전 강의: https://enjoythehobby.tistory.com/entry/Lec1-Word-Vectors Lec1) Word Vectors Denotational semantics(표시적 의미론) ○ 텍스트를 분석을 위해 단어의 뜻을 어떻게 표현(represent)할 것인가? si.. enjoythehobby.tistory.com NLP 대표 작업: 개체명 인식(Named entity recognition, NER) 글에서 단어를 찾아서 분류하는 작업 (사람, 장소, 날짜) Last night, Paris Hilton wo.. 특이값분해(Singular Value Decomposition, SVD) ○ Full singular value decomposition(SVD) Reference) SVD와 PCA, 그리고 잠재의미분석(LSA) Singular Value Decomposition Tutorial 직사각형 행렬 $A$는 직교성 행렬 $U$와 대각행렬 $S$그리고 직교성 행렬의 전치행렬인 $V$로 분해된다. $A_{mn}=U_{mm}S_{mn}V_{nn}^T$ 이 때 $U^{T}U=I$, $V^{T}V=I$일 때, $U$는 $AA^{T}$의 직교성 eigenvectors($m,m$ 차원), $V$는 $A^{T}A$의 직교성 eigenvecter($n,n$ 차원) $S$는 $U$또는 $V$의 eigenvalue의 제곱근을 대각행렬로 갖는다. 예시를 들어보자 $A$가 하기와 같을 때 $A = \be.. Lec2) Neural Classifiers 이전 강의: https://enjoythehobby.tistory.com/entry/Lec1-Word-Vectors Lec1) Word Vectors Denotational semantics(표시적 의미론) ○ 텍스트를 분석을 위해 단어의 뜻을 어떻게 표현(represent)할 것인가? signifier (symbol) ↔ signified (idea or thing) 표시론적 의미론에서 특정 기호(symbol)에 해.. enjoythehobby.tistory.com ○ Word2vec 복습 임의의 단어 벡터로 시작 주어진 중심단어에 대한 주변 단어 확률($P(o|c)$) 예측을 수행 전체 말뭉치(corpus)의 각 단어에 대해 반복수행 $P(o|c)=\frac{\texttt{exp}(u_{o}^{T}v.. Lec1) Word Vectors Denotational semantics(표시적 의미론) ○ 텍스트를 분석을 위해 단어의 뜻을 어떻게 표현(represent)할 것인가? signifier (symbol) ↔ signified (idea or thing) 표시론적 의미론에서 특정 기호(symbol)에 해당하는 개념이나 물건의 집합을 뜻(meaning)이라 할 수 있다. 위 개념을 토대로 가장 간단하게 적용한 것이 "동의어 집합(synonym set)" 과 "상위어(hypernyms)"를 이용하는 것이다. [대표 동의어사전(시소러스, thesaurus), WordNet] ○ WordNet과 같은 자원의 문제 늬앙스의 부재 예) "proficient"와 "good"은 동의어로 되어있지만 일부 문맥에서만 맞는말이다 단어의 새로운 뜻의 부재 예.. 이전 1 ··· 3 4 5 6 다음
