[FEATURE] corpus를 pre-processing하는 script를 개발한다.

[seopbo]

🚀 Feature

BART의 pre-training을 위해 corpus를 pre-processing하는 script를 개발한다.

• 사전에 corruption을 해서 integer 형태로 떨궈놓기
• tokenizers package를 이용, byte pair encoding하기

Motivation

Pitch

Additional context

[seopbo]

20/09/28

huggingface tokenizers 이용해서 tokenizer 작성

• Ref
  • https://colab.research.google.com/github/huggingface/transformers/blob/master/notebooks/01-training-tokenizers.ipynb
  • https://gist.github.com/lovit/e11c57877aae4286ade4c203d6c26a32