Skip to content

Attention is All You Need tokenizer 사용법 변경 #11

@wnghks7787

Description

@wnghks7787

Attention is All You Need 논문에서 Transformer 실습을 Colab에 올리셨는데, 해당 부분에 데이터 전처리 과정에서 tokenizer로 spacy를 사용하신 부분이 새 버전으로 업데이트 되면서 문제를 일으키고 있습니다.

<기존>
import spacy

spacy_en = spacy.load('en') # 영어 토큰화(tokenization)
spacy_de = spacy.load('de') # 독일어 토큰화(tokenization)

<변경 후>
import spacy

spacy_en = spacy.load('en_core_web_sm') # 영어 토큰화(tokenization)
spacy_de = spacy.load('de_core_news_sm') # 독일어 토큰화(tokenization)

확인 부탁드립니다. 감사합니다.

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions