티스토리

Dev.log

검색하기

블로그 홈

Dev.log

aboutnlp.tistory.com/m

포켓몬빵 님의 블로그입니다.

구독자: 6

방명록 방문하기

주요 글 목록

Gensim의 Latent Dirichlet Allocation를 통한 분석 Latent Direchlet Allocation(LDA) 토픽 모델링은 문서의 집합에서 핵심 토픽을 찾아내는 알고리즘을 의미합니다. 이는 검색 엔진, 고객 민원 시스템 등과 같이 문서의 주제를 알아내는 일이 중요한 곳에서 사용되기도 합니다. 잠재 디리클레 할당(Latent Dirichlet Allocation, LDA)은 이러한 토픽 모델링의 대표적인 알고리즘으로 주어진 문서들에서 어떠한 주제를 찾는 확률모델이라고 할 수 있습니다. 예를 들어 아래와 같은 문서들이 존재한다고 가정해봅시다. 문서1 = [Quantum Mechanics, Higgs Particle, Maxwell's Equation, Theory of Relativity] 문서2 = [Shakespeare, Tolstoy, Faust, 1.. 공감수 0 댓글수 0 2022. 7. 16.
Hugging Face의 Sentence Transformer Hugging Face Hugging Face는 다양한 트랜스포머 모델과 학습스크립트를 제공하는 모듈입니다. 원래 PyTorch등과 같은 딥러닝 라이브러리 를 통해 layer나 module을 선언해주고 학습 스크립트 역시 전부 구현해야하지만 Hugging Face를 사용하면 이러한 수고를 덜 수 있다는 장점이 존재합니다. 즉, Hugging Face의 transformer를 통해 최첨단 사전 훈련 모델을 쉽게 다운로드하고 훈련할 수 있는 API를 사용할 수 있다고 이해할 수 있습니다. 또한 이런 사전 훈련된 모델을 사용하면 컴퓨팅 비용, 탄소 발자국을 줄이고 모델을 처음부터 훈련하는 시간을 절약할 수 있다는 장점이 존재합니다. Hugging Face의 transformers 모델들에서는 크게 아래와 같은.. 공감수 0 댓글수 0 2022. 6. 11.
Graph centrality를 통한 금융 자연어 데이터 분석 사회적 인식을 파악하기 위해 언론 보도를 토대로 언론의 시각에 의해 여론을 지각할 수 있는 연구들이 존재하였습니다. 또한, 인터넷의 보급화와 스마트 기기의 보급률 상승은 온라인 공간의 보편화를 이루어 내며 다양한 연령이 스마트 기기를 사 용하여 매체를 접하고 소비하는 시간이 증가시켰습니다. 이러한 온라인 공간의 보편화로 인해 온라인 공간에서의 담론은 대중의 인식을 추정할 수 있는 방법으로 사용할 수 있습니다. 이에 사회의 시스템구조를 파악하기 위해 사람, 사물, 조직 간의 관계를 네트워크 관점에서 분석하는 social network analaysis와 semantic network analysis가 등장하였습니다. Semantic network analysis은 social network analaysi.. 공감수 0 댓글수 0 2022. 6. 10.
Sentence BERT SBERT SBERT(Sentence BERT)는 BERT의 임베딩 성능을 향상시킨 모델입니다. BERT로 부터 문장벡터를 얻을때는 BERT의 [CLS] 토큰의 출력 벡터를 문장 벡터로 간주하거나 각 task에 맞춰 모든 단어의 의미를 반영할건지 중요한 단어의 의미를 반영할건지에 따라 각각 모든 단어의 출력 벡터에 대해서 average pooling 과 max pooling을 수행하여 문장 벡터로 얻을 수 있습니다. SBERT는 이와 같은 BERT의 문장 임베딩을 응용하여 BERT에 fine tunning을 진행합니다. SBERT는 크게 2가지 방법으로 학습이 진행된다고 할 수 있는데, NLI(Natural Language Inferencing) 문제와 같은 문장 쌍분류 테스크를 통해 fine tunni.. 공감수 0 댓글수 0 2022. 5. 11.
Bag of Words Bag of Words에 대해서 Bag of Words Bag of Words는 단어들의 sequence에 대해서는 고려하지 않고 단어들의 frequency에 집중하여 텍스트 데이터를 수치화 시키는 방법을 의미합니다. 예를 들어 "나는 포켓몬빵을 사러 편의점에 갔다" 라는 문장이 주어졌다 가정해 봅시다. 이를 형태소 분석기를 사용해서 형태소 단위로 나눈후 해당 문장에 대해 Bag of Words를 만들어 보겠습니다. from konlpy.tag import Okt okt = Okt() def build_bag_of_words(document): tokenized_document = okt.morphs(document) word_to_index = {} bow = [] for word in tokenize.. 공감수 0 댓글수 0 2022. 5. 10.
문서간 유사도: Jaccard Similarity & Cosine Similarity 자연어처리분야에서의 유사도(similarity)란 비슷한 정도를 나타내는 지표를 의미합니다. 하지만 유사도는 주관적인 지표로 작용될 수 있는데, 이를 정량화 하기위해 유클리디안 거리, 맨하튼 거리, 피어슨 상관 계수, 코사인 유사도, 자카드 유사도과 같은 수치로 표현하였습니다. 이러한 유사도 방법중 본 포스팅에서는자카드 유사도(Jaccard Simiarity)와 코사인 유사도(Cosine Similarity)에 대해 진행해 보도록하겠습니다. Jaccard 유사도 Jaccard 유사도는 두 집합간의 유사도를 측정하는 방법으로써, 두 집합을 문서로 적용시키면, 두 문서간의 교집합의 크기를 합집합 크기로 나눈 값을 의미합니다. 즉, 0에서 1까지의 범위의 두 데이터 세트에 대한 유사도 측정값으로써 1에 가까울.. 공감수 0 댓글수 0 2022. 4. 29.
How to write a spelling corrector 이번 포스팅에서는 Peter Norving의 spelling corrector가 어떻게 작동하는지에 대해 포스팅을 진행해 보도록하겠습니다. Spelling Correcter의 확률적 이론 Call correction(w)은 w에 대해 가장 가능성이 높은 맞춤법 수정을 선택하려고 시도합니다. 하지만 확실히 알 수 있는 방법은 없습니다. 예를들어, "late"를 "late", "latest" 또는 "lattes"으로 수정해야 하기때문입니다. 따라서 가능한 모든 후보 중에서 원래 단어 w가 주어졌을 때 c가 의도한 수정일 확률을 최대화하는 수정 c를 찾으려고 합니다. Bayes정리에 따르면 아래와 같이 표현할 수 있습니다. 또한, P(w)는 모든 가능한 후보 c에 대해 동일하므로 아래와 같이 인수분해할 수 있.. 공감수 0 댓글수 0 2022. 4. 29.
SentiwordNet SentiwordNet 인터넷 공간이 대중화됨에 따라 SNS와 같은 온라인 공간내에 존재하는 감정 정보를 추출 및 활용함으로써 특정 대상에 대한 인식을 파악하려는 연구들이 이루어졌습니다. 이러한 연구를 진행하기 위해 주로 인터넷 게시판, SNS, 블로그 등에 올려진 텍스트를 분석하여 주제에 대한 감정을 인식하고 분석하려는 연구를 감정분석(sentiment analysis)이라 할 수 있습니다. 이러한 분석을위해서는 어떤 표현이 긍적인지 부정인지를 정리해놓은 사전이 필요하게 됩니다. 하지만 사람이 사용하는 수만은 단어들을 일일히 수작업으로 긍정인지 부정인지 판단해서 정리하기는 어려운 일입니다. 그래서 Esuli와 Sebastiani는 SentiWordNet을 만들게 되었습니다. SentiWordNet는 감.. 공감수 0 댓글수 0 2022. 4. 23.
Semantic Network Analysis 본 포스팅에서는 sematic network analysis인 의미연결망 분석에 대해 포스팅을 진행해 보도록 하겠습니다. 현재는 인터넷의 대중화로 인해 인터넷에서 생성된 데이터는 대중의 인식이나 트랜드를 추정할 수 있는 방법으로 사용 할 수 있습니다. 이에 사회의 시스템구조를 파악하기 위해 사람, 사물, 조직 간의 관계를 네트워크 관점에서 분석하는 social network analysis(사회연결망분석)을 활용 할 수 있습니다. Semantic Network Analysis 의미연결망은 이러한 사회연결망 방법을 커뮤니케이션 메시지에 적용시킨 방법입니다. 즉, 의제에 관해 거시적인 틀에서 분석하는 방법으로 개별적인 키워드 위치와 역할을 파악함으로써 기존의 의제 설정모델을 체계적으로 파악 할 수 있게 도움.. 공감수 0 댓글수 0 2022. 4. 23.
나이브 베이즈 분류기(Naive Bayes Classifier) 이번 포스팅에서는 나이브 베이즈(Naive Bayse)에 대해 진행해 보도록 하겠습니다. 먼저 나이브 베이즈에 들어가기 앞서 나이브 베이즈의 사전 지식인 조건부 확률과 베이즈 정리에 대해 간단히 짚고 넘어가겠습니다. 조건부확률 (Conditional Probability)와 베이즈 정리(Bayes' theorem) 사건 B가 발생했을 떄 사건 A가 발생할 확률은 사건 B의 영향을 받아 변화할 수 있습니다. 조건부 확률은 P(B) > 0 의 조건을 만족하면서, 어떠한 사건 B가 일어났을때 사건 A가 일어날 확률을 의미합니다. 즉, 주어진 사건이 일어났다는 가정하에 다른 한 사건이 일어나는 확률을 의미합니다. 예를 들어, 우리가 주사위를 던질 때 각 숫자가 나올확률은 1/6으로 생각합니다. 만약 여기서, 주.. 공감수 0 댓글수 0 2022. 4. 20.
Dynamic Topic Modeling 본 포스팅에서는 Blei와 Lafferty에 의해 고안되었으며, 주제 표현이 고정된 시간 간격으로 진화할 수 있도록 순차적으로 문서 처리를 가능케 하는 LDA의 확장형 모델인 Dynamic topic modeling에 대해 포스팅을 진행해 보도록 하겠습니다. Dynamic topic modeling은 동적토픽모델링이라고도 불리며, 시계열에 의한 문서 집합에서 토픽의 진화를 분석하는데 사용 할 수 있는 생성 모델입니다. 기존의 LDA 의 경우 단어가 문서에 나타나는 순서와 문서가 코퍼스(corpus)에 나타나는 순서는 무시하는 반면, 동적토픽모델링에서는 문서는 시간별로 그룹화 되며, 각 문서는 이 전 그룹으로부터 진화된 토픽집합으로부터 온 것으로 가정됩니다. 또한 각 문서의 집합에서 관찰되지 않은 토픽이 .. 공감수 0 댓글수 0 2022. 4. 11.
토픽모델링이란 본 포스팅에서는 자연어처리 분야중 하나인 토픽 모델링이라는 방법론에 대해 설명드리도록 하겠습니다. 사회적 인식을 파악하지 않고 기존의 경험에만 의존 하여 정책을 실현할 경우 처음에 의도했던 성과를 얻기 어려울 가능성이 존재합니다. 따라서 사회적 인식을 파악하기위해 전통적으로는 설문조사와 같은 여론조사를 통해 대중의 인식을 통계적 검증에 의해 추정하는 방법을 주로 사용했었습니다. 하지만 이러한 방법은 많은 시간과 비용이 필요하며 주관적 의견이 반영될 가능성이 존재합니다. 따라서 최근에는 위의 전통적 여론조사의 대안으로 정량적 방법론을 사용하여 기존의 한계를 극복하려는 방법들이 사용되어왔습니다. 이러한 한계를 극복하기위해서는 대용량 텍스트에 대해 정량적 분석을 진행 할 수 있는데, 이러한 분석 방법중 토픽모.. 공감수 1 댓글수 0 2022. 3. 3.
Latent Dirichlet Allocation(LDA) 본 포스팅은 토픽모델링 기법중 하나인 LDA에 대해 포스팅 하도록 하겠습니다 LDA는 전체 문서집합에 대해 각 문서에 어떠한 토픽들이 존재하는지 보여주는 확률 모델로써, 각각의 문서는 여러개의 토픽을 지니며, 이산 자료들에 대한 확률적 생성모델로 주로 텍스트 자료들에 주로 사용됩니다 (Y.Wang et al., 2009). LDA의 각각의 문서는 여러 개의 토픽을 지닐 수 있다는 점에서 pLSA와 유사하지만, 토픽들이 디리클레 분포를 따른다고 가정합니다. 디리클레 분포는 연속 확률분포의 하나로 $k$차원의 실수 벡터중 벡터의 요소가 양수이며, 모든 요소를 더한값이 1인 경우에 정의되는 확률 분포입니다. 더 들어가보자면, 디리클레 분포는 베타 분포를 항이 여러 개인 경우로 확대한 것입니다. 서로 독립이며 .. 공감수 0 댓글수 0 2022. 2. 19.
Word2Vec Word2vec은 ‘word to vector’로, 단어를 벡터의 형태로 나타내려는 의미를 담고 있는데, 이는 단어를 벡터화하는 임베딩(embedding) 방법론이며 추론 기반의 분석기법이다. 단어를 추론하는 과정에서 신경망을 이용하고 이러한 과정에서 ‘Word2vec’방법론이 등장하였습니다. Vector 데이터를 다룰 때 데이터는 크게 스칼라(scalar)와 벡터 (vector)로 나누어집니다. 스칼라와 벡터는 물리학에서 어떠한 값의 ‘속성’을 나타 내는 개념이다. 스칼라는 수치로 표현할 수 있는 값으로, 대표적으로 넓이, 시간 온도 등이 있다. 벡터는 크기와 동시에 방향을 갖는 값으로 보통 좌표계에서 x,y,z 축으로 설명되며, 속도, 힘 등이 벡터 값이라 할 수 있다. 우리가 흔히 알고있는 머신러닝.. 공감수 0 댓글수 0 2022. 2. 18.
자연어 처리의 Preprocessing 본 포스팅에서는 인공지능의 한 분야중 자연어 처리에 대해 포스팅을 진행 하겠습니다. 기계를 활용하여 데이터 분석을 진행할 경우, 사람이 직접 분석하는 것보다 빠른 속도로 대용량의 자료를 분석하는 것이 가능해집니다. 이러한 환경의 변화에 의해 데이터 집합의 범주가 확장된 빅데이터 분석이 사회적으로 일상화되고 있는데, 숫자형 데이터인 정형데이터 이외에도 사람이 이해할 수 있는 언어인 비정형데이터에 대한 분석도 빠른 속도로 발전하고 있는 추세 입니다. 여기서 비정형데이터는 숫자가 아닌 데이터를 지칭하는데, 대표적으로 언어, 이미지, 혹은 동영상 파일들을 예로 들 수 있습니다. 이 중 언어 처리하는 기술을 우리는 자연어처리(Natural Language Processing, NLP)라고 합니다. 한국정보통신기술.. 공감수 0 댓글수 0 2022. 2. 18.
데이터 수집(beautifulsoup & Selenium) 및 KCI 크롤러제작 안녕하세요. 이번 포스팅에서는 비정형 데이터(텍스트 데이터) 수집에 관해 포스팅을 진행하겠습니다. 비정형 데이터 분석을 진행하기위해 때론 데이터를 특정 웹 사이트로 부터 가져와야하는 일이 발생합니다. 이러한 일은 손으로 가져왔을 경우, 막대한 시간과 노력이 필요하며 대용량의 데이터를 한번에 가져오기란 쉽지 않습니다. 이에 크롤러(crawler)를 통해 데이터를 수집해야하는 일이 발생힙니다. 크롤러란? 웹 크롤링, 웹 크롤러는 인터넷 상에 있는 수많은 자료들을 가져와 프로그래밍하기 쉽게, 혹은 데이터 분석하기 쉬운 형태로 가공하는 작업을 의미합니다. 최근 데이터 분석에 대한 수요가 증가하고 이에 따라 자료를 얻는 원천으로 웹을 자주 드는데요, 이 웹을 가져와서 데이터 분석을 할 수 있는 자료의 형태로 바꾸.. 공감수 1 댓글수 0 2022. 2. 16.
LSTM을 활용한 영문 트위터 감성분석 모델 안녕하세요 이번 포스팅에서는 LSTM을 활용한 영문 트위터 감성분석 모델에 대해 진행하겠습니다. 1. 감성분석이란? 감정 분석은 정서적 상태와 주관적인 정보를 체계적으로 식별, 추출, 정량화 및 연구하기 위해 자연어 처리, 텍스트 분석, 전산 언어학 및 생체 인식을 사용하는 것을 말합니다 2. LSTM 3. 데이터셋 해당 모델 제작을 위해 사용된 데이터셋은 Kaggle에서 개최한 Tweet Sentiment Extraction 내의 영문 트위터 데이터를 활용하였습니다. 데이터셋의 경우 아래의 링크에서 다운 및 확인 하실수 있습니다. www.kaggle.com/c/tweet-sentiment-extraction Tweet Sentiment Extraction Extract support phrases fo.. 공감수 0 댓글수 0 2021. 2. 6.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.