-
Notifications
You must be signed in to change notification settings - Fork 335
Attention is All You Need tokenizer 사용법 변경 #11
Copy link
Copy link
Open
Description
Attention is All You Need 논문에서 Transformer 실습을 Colab에 올리셨는데, 해당 부분에 데이터 전처리 과정에서 tokenizer로 spacy를 사용하신 부분이 새 버전으로 업데이트 되면서 문제를 일으키고 있습니다.
<기존>
import spacy
spacy_en = spacy.load('en') # 영어 토큰화(tokenization)
spacy_de = spacy.load('de') # 독일어 토큰화(tokenization)
<변경 후>
import spacy
spacy_en = spacy.load('en_core_web_sm') # 영어 토큰화(tokenization)
spacy_de = spacy.load('de_core_news_sm') # 독일어 토큰화(tokenization)
확인 부탁드립니다. 감사합니다.
Reactions are currently unavailable
Metadata
Metadata
Assignees
Labels
No labels