SentencePiece 0.1.9 : 概要

【SentencePiece 0.1.9 : 概要】

SentencePiece は Google 社がオープンソースとして公開している、ニューラルネットワーク・ベースのテキスト生成システムのためのテキスト tokenizer / detokenizer です。言語固有の前/後処理に依拠しない end-to-end なシステムを作成することを可能にします。SentencePiece は BPE (バイトペア符号化) のようなサブワード・ユニットとユニグラム言語モデルを実装し、raw センテンスからの直接訓練が可能です。

README を翻訳しておきました。 [詳細]

【2020年12月16日(水)：ウェビナー】人工知能やデータ分析テクノロジーを戦略的にビジネスに取り込むには？Vol.93 ～ グローバルな社会で日本人が戦うためのスキルとは？ ～ [詳細]