PyTorch : Tutorial 初級 : NLP のための深層学習 : 単語埋め込み: 語彙セマンティクスのエンコード (翻訳/解説)
【PyTorch Tutorial 初級: NLP (3): 単語埋め込み & 語彙意味論】
PyTorch の初級チュートリアルを翻訳しています。最新の PyTorch 0.4.0 リリースにも対応しています。
今回は「NLP のための深層学習 (3)」として PyTorch による自然言語処理の本格的な説明と実装に入り、単語埋め込みを通して語彙意味論的なエンコードを行ないます。
前半は分布仮説と単語埋め込みの基礎概念が詳細に説明されます。単語埋め込みは単語のセマンティクスの表現で、セマンティック情報を効率的にエンコードします。品詞タギング・解析木のような特徴でも埋め込むことが可能で、特徴埋め込みのアイデアはこの分野の中核を成します。
後半は、PyTorch による基本的な単語埋め込みの実装を行ない、そして代表的な言語モデル N-Gram、更には CBOW を実装します