BERT論文読み

 23, 2019 11:49
今、一説によれば人間を上回る精度であるとして昨年話題になった「BERT」の論文を読んでいます。
Assessing BERT’s Syntactic Abilities

<粗訳>
BERTは、 「Transformer」のアーキテクチャに基づくモデルである。
それはattention機構にのみ依存しており、語順は明示的には考慮されていない。
そのためBERTは、語順を直接設定するRNN(LSTM)と比較して、構文解析が弱いという説もある。
そこで著者は、BERTがどの程度英語の構文を捉えているかを実験した。
結論として、BERTはすべての構文テストにおいて良好な成績を出した。

詳しくは原文をお読みください。

関連記事

COMMENT 0

WHAT'S NEW?