Keras 2 : examples : 知識蒸留 (翻訳/解説)

【Keras 2 : コンピュータビジョン – 知識蒸留】
今回は Code examples の「コンピュータビジョン」から「知識蒸留」です。知識蒸留はモデル圧縮のための手続きで、大きい事前訓練済みの『教師モデル』に一致するように小さい『生徒モデル』が訓練されます。正解ラベルに加えて穏やかにされた教師ロジットに一致することを目的として、損失関数を最小化することにより知識が教師モデルから生徒に転移されます。 [More]