Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | 7 |
8 | 9 | 10 | 11 | 12 | 13 | 14 |
15 | 16 | 17 | 18 | 19 | 20 | 21 |
22 | 23 | 24 | 25 | 26 | 27 | 28 |
29 | 30 |
Tags
- 구글클라우드플랫폼
- sbert
- word representation
- sensibleness
- 임베딩
- QANet
- semantic network
- 분류모델평가
- ROC-AUC Curve
- Enriching Word Vectors with Subword Information
- Meena
- word2vec
- GCP
- 감성분석
- Holdout
- topic modeling
- 동적토픽모델링
- hugging face
- 의미연결망
- 알파베타가지치기
- degree centrality
- sequential data
- 머신러닝
- 허깅페이스
- type-hint
- 토픽모델링
- 사회연결망분석
- Google Cloud Platform
- dynamic topic modeling
- Min-Max 알고리즘
Archives
- Today
- Total
목록kci (1)
Dev.log
데이터 수집(beautifulsoup & Selenium) 및 KCI 크롤러제작
안녕하세요. 이번 포스팅에서는 비정형 데이터(텍스트 데이터) 수집에 관해 포스팅을 진행하겠습니다. 비정형 데이터 분석을 진행하기위해 때론 데이터를 특정 웹 사이트로 부터 가져와야하는 일이 발생합니다. 이러한 일은 손으로 가져왔을 경우, 막대한 시간과 노력이 필요하며 대용량의 데이터를 한번에 가져오기란 쉽지 않습니다. 이에 크롤러(crawler)를 통해 데이터를 수집해야하는 일이 발생힙니다. 크롤러란? 웹 크롤링, 웹 크롤러는 인터넷 상에 있는 수많은 자료들을 가져와 프로그래밍하기 쉽게, 혹은 데이터 분석하기 쉬운 형태로 가공하는 작업을 의미합니다. 최근 데이터 분석에 대한 수요가 증가하고 이에 따라 자료를 얻는 원천으로 웹을 자주 드는데요, 이 웹을 가져와서 데이터 분석을 할 수 있는 자료의 형태로 바꾸..
자연어처리
2022. 2. 16. 14:20