今、一説によれば人間を上回る精度であるとして昨年話題になった「BERT」の論文を読んでいます。
Assessing BERT’s Syntactic Abilities
＜粗訳＞
BERTは、 「Transformer」のアーキテクチャに基づくモデルである。
それはattention機構にのみ依存しており、語順は明示的には考慮されていない。
そのためBERTは、語順を直接設定するRNN（LSTM）と比較して、構文解析が弱いという説もある。
そこで著者は、BERTがどの程度英語の構文を捉えているかを実験した。
結論として、BERTはすべての構文テストにおいて良好な成績を出した。
詳しくは原文をお読みください。
Assessing BERT’s Syntactic Abilities
＜粗訳＞
BERTは、 「Transformer」のアーキテクチャに基づくモデルである。
それはattention機構にのみ依存しており、語順は明示的には考慮されていない。
そのためBERTは、語順を直接設定するRNN（LSTM）と比較して、構文解析が弱いという説もある。
そこで著者は、BERTがどの程度英語の構文を捉えているかを実験した。
結論として、BERTはすべての構文テストにおいて良好な成績を出した。
詳しくは原文をお読みください。
- 関連記事
-
-
日本の機械翻訳市場を制するのは
2019/05/28
-
NLP2019のプログラムが発表されました
2019/02/07
-
BERT論文読み
2019/01/23
-
MT Summitの感想・総評
2019/01/09
-
MT Summitの感想⑤ - (2)
2019/01/09
-
