Glove 논문리뷰(수정중)

본 포스팅에서는 워드 임베딩(Word embedding)에 관련해서 2014년 Stanford University에서 발표한 논문인 Glove: Global Vectors for Word Representation에 대해 진행해 보도록 하겠습니다.

 

워드 임베딩에서 대표적으로 쓰이는 대표적으로 2가지 방법이 있습니다. LSA와 같이 말뭉치 전체에 대해 어떠한 통계적인 정보를 활용하는 방식이 있고, Word2Vec과 같이 단어들 간의 유사도를 반영해서 저차원 벡터공간으로 임베딩을 하는 방식이 있습니다. LSA와 같이 통계 기반 방식은 문서 전체에 대한 통계 정보를 잘반영해서 모델링을 할 수 있지만 단어 혹은 문서 간 유사도 측정이 어렵다는 단점이 존재합니다. 반면 Word2Vec과 같은 방식은 유사도 기반의 어떠한 task에서는 강점을 보이지만, 말뭉치(corpus)에 대한 전체 정보를 잘 반영하지 못한다는 단점이 존재합니다. 따라서 Glove에서는 통계적 방식과 임베딩 방식의 2가지 장점을 모두 갖는 방법을 가져보자 라는 아이디어에서 출발한 논문으로 이해하면 됩니다.

 

LSA(Latent Sematic Analysis)

LSA는 turncated SVD 방식을 적용하여 차원축소를 진행한 방식입니다.  위의 그림을 보면 어떠한 데이터 A가 주어져있을때, 특이값 분해(singular value decomposition; SVD)로 r개의 교유값을 갖는 성분으로 분해가 가능하며