Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | 7 |
8 | 9 | 10 | 11 | 12 | 13 | 14 |
15 | 16 | 17 | 18 | 19 | 20 | 21 |
22 | 23 | 24 | 25 | 26 | 27 | 28 |
29 | 30 |
Tags
- ROC-AUC Curve
- 동적토픽모델링
- QANet
- word2vec
- sequential data
- topic modeling
- Holdout
- 감성분석
- Min-Max 알고리즘
- type-hint
- sensibleness
- 허깅페이스
- 머신러닝
- sbert
- GCP
- Meena
- 의미연결망
- hugging face
- semantic network
- 임베딩
- Enriching Word Vectors with Subword Information
- degree centrality
- 토픽모델링
- word representation
- 분류모델평가
- 알파베타가지치기
- 사회연결망분석
- Google Cloud Platform
- dynamic topic modeling
- 구글클라우드플랫폼
Archives
- Today
- Total
목록kci (1)
Dev.log
데이터 수집(beautifulsoup & Selenium) 및 KCI 크롤러제작
안녕하세요. 이번 포스팅에서는 비정형 데이터(텍스트 데이터) 수집에 관해 포스팅을 진행하겠습니다. 비정형 데이터 분석을 진행하기위해 때론 데이터를 특정 웹 사이트로 부터 가져와야하는 일이 발생합니다. 이러한 일은 손으로 가져왔을 경우, 막대한 시간과 노력이 필요하며 대용량의 데이터를 한번에 가져오기란 쉽지 않습니다. 이에 크롤러(crawler)를 통해 데이터를 수집해야하는 일이 발생힙니다. 크롤러란? 웹 크롤링, 웹 크롤러는 인터넷 상에 있는 수많은 자료들을 가져와 프로그래밍하기 쉽게, 혹은 데이터 분석하기 쉬운 형태로 가공하는 작업을 의미합니다. 최근 데이터 분석에 대한 수요가 증가하고 이에 따라 자료를 얻는 원천으로 웹을 자주 드는데요, 이 웹을 가져와서 데이터 분석을 할 수 있는 자료의 형태로 바꾸..
자연어처리
2022. 2. 16. 14:20