Dev.log

본 포스팅에서는 ELECTRA(Efficiently Learning an Encoder that Classfies Token Replacement Accuratly)에 대해 리뷰해 보도록 하겠습니다. 먼저, ELECTRA가 등장하기전 SOTA의 language model이 이용한 방식인 MLM(Masked Language Modeling) 방식에 대해 설명드리도록 하겠습니다. MLM(Masked Language Modeling) MLM방식은 주어진 문장 토큰들 중 전체의 15%만큼 마스킹을 하여 해당 토큰을 모델이 볼 수 없게한 뒤, 그 마스킹된 토큰의 원래 토큰을 맞추는 형식으로 학습이 도비니다. 하지만, 이는 마스킹된 토큰에 대해서만 학습이 이루어지기 때문에 주어진 예시의 15%정도밖에 사용을 하지 ..