Dev.log

본 포스팅에서는 sematic network analysis인 의미연결망 분석에 대해 포스팅을 진행해 보도록 하겠습니다. 현재는 인터넷의 대중화로 인해 인터넷에서 생성된 데이터는 대중의 인식이나 트랜드를 추정할 수 있는 방법으로 사용 할 수 있습니다. 이에 사회의 시스템구조를 파악하기 위해 사람, 사물, 조직 간의 관계를 네트워크 관점에서 분석하는 social network analysis(사회연결망분석)을 활용 할 수 있습니다. Semantic Network Analysis 의미연결망은 이러한 사회연결망 방법을 커뮤니케이션 메시지에 적용시킨 방법입니다. 즉, 의제에 관해 거시적인 틀에서 분석하는 방법으로 개별적인 키워드 위치와 역할을 파악함으로써 기존의 의제 설정모델을 체계적으로 파악 할 수 있게 도움..

이번 포스팅에서는 나이브 베이즈(Naive Bayse)에 대해 진행해 보도록 하겠습니다. 먼저 나이브 베이즈에 들어가기 앞서 나이브 베이즈의 사전 지식인 조건부 확률과 베이즈 정리에 대해 간단히 짚고 넘어가겠습니다. 조건부확률 (Conditional Probability)와 베이즈 정리(Bayes' theorem) 사건 B가 발생했을 떄 사건 A가 발생할 확률은 사건 B의 영향을 받아 변화할 수 있습니다. 조건부 확률은 P(B) > 0 의 조건을 만족하면서, 어떠한 사건 B가 일어났을때 사건 A가 일어날 확률을 의미합니다. 즉, 주어진 사건이 일어났다는 가정하에 다른 한 사건이 일어나는 확률을 의미합니다. 예를 들어, 우리가 주사위를 던질 때 각 숫자가 나올확률은 1/6으로 생각합니다. 만약 여기서, 주..

본 포스팅에서는 Blei와 Lafferty에 의해 고안되었으며, 주제 표현이 고정된 시간 간격으로 진화할 수 있도록 순차적으로 문서 처리를 가능케 하는 LDA의 확장형 모델인 Dynamic topic modeling에 대해 포스팅을 진행해 보도록 하겠습니다. Dynamic topic modeling은 동적토픽모델링이라고도 불리며, 시계열에 의한 문서 집합에서 토픽의 진화를 분석하는데 사용 할 수 있는 생성 모델입니다. 기존의 LDA 의 경우 단어가 문서에 나타나는 순서와 문서가 코퍼스(corpus)에 나타나는 순서는 무시하는 반면, 동적토픽모델링에서는 문서는 시간별로 그룹화 되며, 각 문서는 이 전 그룹으로부터 진화된 토픽집합으로부터 온 것으로 가정됩니다. 또한 각 문서의 집합에서 관찰되지 않은 토픽이 ..

본 포스팅에서는 자연어처리 분야중 하나인 토픽 모델링이라는 방법론에 대해 설명드리도록 하겠습니다. 사회적 인식을 파악하지 않고 기존의 경험에만 의존 하여 정책을 실현할 경우 처음에 의도했던 성과를 얻기 어려울 가능성이 존재합니다. 따라서 사회적 인식을 파악하기위해 전통적으로는 설문조사와 같은 여론조사를 통해 대중의 인식을 통계적 검증에 의해 추정하는 방법을 주로 사용했었습니다. 하지만 이러한 방법은 많은 시간과 비용이 필요하며 주관적 의견이 반영될 가능성이 존재합니다. 따라서 최근에는 위의 전통적 여론조사의 대안으로 정량적 방법론을 사용하여 기존의 한계를 극복하려는 방법들이 사용되어왔습니다. 이러한 한계를 극복하기위해서는 대용량 텍스트에 대해 정량적 분석을 진행 할 수 있는데, 이러한 분석 방법중 토픽모..