Dev.log

안녕하세요. 이번 포스팅에서는 비정형 데이터(텍스트 데이터) 수집에 관해 포스팅을 진행하겠습니다. 비정형 데이터 분석을 진행하기위해 때론 데이터를 특정 웹 사이트로 부터 가져와야하는 일이 발생합니다. 이러한 일은 손으로 가져왔을 경우, 막대한 시간과 노력이 필요하며 대용량의 데이터를 한번에 가져오기란 쉽지 않습니다. 이에 크롤러(crawler)를 통해 데이터를 수집해야하는 일이 발생힙니다. 크롤러란? 웹 크롤링, 웹 크롤러는 인터넷 상에 있는 수많은 자료들을 가져와 프로그래밍하기 쉽게, 혹은 데이터 분석하기 쉬운 형태로 가공하는 작업을 의미합니다. 최근 데이터 분석에 대한 수요가 증가하고 이에 따라 자료를 얻는 원천으로 웹을 자주 드는데요, 이 웹을 가져와서 데이터 분석을 할 수 있는 자료의 형태로 바꾸..

안녕하세요 이번 포스팅에서는 LSTM을 활용한 영문 트위터 감성분석 모델에 대해 진행하겠습니다. 1. 감성분석이란? 감정 분석은 정서적 상태와 주관적인 정보를 체계적으로 식별, 추출, 정량화 및 연구하기 위해 자연어 처리, 텍스트 분석, 전산 언어학 및 생체 인식을 사용하는 것을 말합니다 2. LSTM 3. 데이터셋 해당 모델 제작을 위해 사용된 데이터셋은 Kaggle에서 개최한 Tweet Sentiment Extraction 내의 영문 트위터 데이터를 활용하였습니다. 데이터셋의 경우 아래의 링크에서 다운 및 확인 하실수 있습니다. www.kaggle.com/c/tweet-sentiment-extraction Tweet Sentiment Extraction Extract support phrases fo..