Dev.log

본 포스팅에서는 워드 임베딩(Word embedding)에 관련해서 2014년 Stanford University에서 발표한 논문인 Glove: Global Vectors for Word Representation에 대해 진행해 보도록 하겠습니다. 워드 임베딩에서 대표적으로 쓰이는 대표적으로 2가지 방법이 있습니다. LSA와 같이 말뭉치 전체에 대해 어떠한 통계적인 정보를 활용하는 방식이 있고, Word2Vec과 같이 단어들 간의 유사도를 반영해서 저차원 벡터공간으로 임베딩을 하는 방식이 있습니다. LSA와 같이 통계 기반 방식은 문서 전체에 대한 통계 정보를 잘반영해서 모델링을 할 수 있지만 단어 혹은 문서 간 유사도 측정이 어렵다는 단점이 존재합니다. 반면 Word2Vec과 같은 방식은 유사도 기반의..

본 포스팅에서는 Neural Probabilistic Language Model(NPLM)의 논문에 대해 리뷰를 해보도록 하겠습니다. Statical language model은 단어의 시퀀스(Sequence)의 probability function을 찾는데 의의를 둡니다. 하지만 본 논문에서는 이러한 경우 curse of dimensionality라는 차원의 저주가 발생한다고 하였습니다. Curse of dimensionality는 단어와 같은 sequential한 데이터를 학습 시킬때, 차원이 증가함에 따라 학습데이터의 수가 생성된 차원의 수보다 적어지면서 모델의 성능이 저하되는 현상을 의미합니다. Curse of dimensionality 기계에게 단어를 인식시키기 위해서는 단어를 숫자로 변환해주어..

본 포스팅에서는 FastText(Enriching Word Vectors with Subword Information)논문에 대해 리뷰해 보도록 하겠습니다. FastText는 2017년 ACL에서 발표되었으며, 오늘날 워드임베딩의 개념인 word vectors representation을 학습시키는 방법에 대한 논문입니다. 본 논문이 등장 할 때 까지만 해도 워드 임베딩(word embedding)이라는 단어 대신 distributed 혹은 continious word represnetation이라는 단어가 주로 사용되었습니다. FastText은 Word2vec을 타겟 논문으로 잡았으며, word2vec의 몇가지 한계점에 대해 언급했습니다. Word2Vec의 한계점 Word2Vec의 한계는 하나의 단어에..

기계의 성능 발전으로인해 사람의 언어와 같은 sequential data 처리가 가능해지자, 기계를 통해 인간의 언어를 처리하고자 하는 아이디어들이 많이 생겨놨고 이는 인공지능의 자연어 처리의 발전으로 이루어 졌습니다. 자연어처리(Natural language processing, NLP)는 인공지능의 한 분야로써 인간의 언어를 컴퓨터와 같은 기계장치를 통해 처리를 하는일을 의미하며 현재 자연어 처리 및 생성에서 좋은 성능 보여주는 BERT나 GPT-3의 아버지격? 과 같은 모델이 있습니다. 바로 그 모델은 Transfomer이며, transformer는 2017년 Attention is All you need라는 논문에서 소개되었습니다. 1. Transformer의 탄생배경 과거 sequence 데이터..