내일을찾는중♪

→ Text Generation을 위한 자동 Evaluation Metric인 BERTScore 제시. Contextual Embedding으로 Reference Sentence와 Candidate Sentence간의 Token Similarity를 계산 기존 n-gram matching 방식 래퍼런스 문장과 후보 문장의 n그램을 비교. 정확한 위치와 n그램 길이에 제한적. ex) BLEU, METEOR BERTScore → contextual embedding(BERT, ELMo) 은 word embedding 과 달리 문장에 따라 같은 단어여도 다른 vector representations를 생성. DATASET WMT18 dataset. (en↔cs, en↔de, en↔et, en↔fi, en↔ru..

용어/기술 설명 BLEU Score 는 n-grams 단위로 정확하게 일치하는 것만 고려 → BERT Score 문맥을 고려하여 평가. (https://openreview.net/pdf?id=SkeHuCVFDr) BERTScore는 pretrained 된 BERT 모델 기반으로 context embedding 을 계산하는데 사용. (predicted sentence와 reference sentence의 normalized된 context embeddings의 cosine similarites 값) RBERT = recall PBERT = precision FBERT = F1score (reall 과 precision의 평균값으로, Fbert 는 단어 카테고리가 아니라 유사한 embedding일수록 높은 ..