Dev.log

안녕하세요. 이번 포스팅에서는 비정형 데이터(텍스트 데이터) 수집에 관해 포스팅을 진행하겠습니다. 비정형 데이터 분석을 진행하기위해 때론 데이터를 특정 웹 사이트로 부터 가져와야하는 일이 발생합니다. 이러한 일은 손으로 가져왔을 경우, 막대한 시간과 노력이 필요하며 대용량의 데이터를 한번에 가져오기란 쉽지 않습니다. 이에 크롤러(crawler)를 통해 데이터를 수집해야하는 일이 발생힙니다. 크롤러란? 웹 크롤링, 웹 크롤러는 인터넷 상에 있는 수많은 자료들을 가져와 프로그래밍하기 쉽게, 혹은 데이터 분석하기 쉬운 형태로 가공하는 작업을 의미합니다. 최근 데이터 분석에 대한 수요가 증가하고 이에 따라 자료를 얻는 원천으로 웹을 자주 드는데요, 이 웹을 가져와서 데이터 분석을 할 수 있는 자료의 형태로 바꾸..