TensorFlow Text – Tensorflow でテキスト処理 (翻訳/解説)
sales-info【TensorFlow Text – Tensorflow でテキスト処理】
TensorFlow Text は新たに google 社から公開された TensorFlow 2.0 用のテキスト処理ライブラリで、もちろん Eager execution とも互換性があります。
現在のところ唯一のドキュメントである README を翻訳しておきました。
テキスト処理において TensorFlow Text を使用するメリットはその演算が TensorFlow グラフ内で行われることです。TensorFlow Text は TensorFlow 2.0 ですぐに利用できるテキスト関連クラスと ops のコレクションを提供しており、テキストベースのモデルで必要なトークン化のような前処理を遂行できて、(コア TensorFlow では提供されない) シークエンスモデルのために有用な他の特徴も含んでいます。
