Bindu-san,
Please refer to the following translation.
-------------------------------------------
ModusToolbox™ ML version 1.2 とversion 2.0の違いにおける確率の変化 - KBA236672
ModusToolbox™ Machine Learning (ML) にてInfineon inference engineを使用した際、バージョン 1.2 (Figure 1)とバージョン 2.0 (Figure 2) と比較すると同一モデル、同一サンプルであるにも関わらず確率に違いがあります。
確率の変化は、softmax層の実装の違いによるものです。 ModusToolbox™ ML バージョン 1.2 では、softmax層は浮動小数点演算を使用して実装されていましたが、バージョン 2.0 では、固定小数点演算を使用して実装されています。 この変更により、整数ベースの量子化が生成されるときに、softmax層を含むすべての操作が整数ベースになります。
通常、softmax層はモデルの最後の層であり、ニューラル ネットの出力を確率分布に正規化するために使用されます。 浮動小数点演算を使用してソフトマックス レイヤーを実装すると、整数ベースのソフトマックス レイヤーを使用する場合よりも、出力される確率が元の浮動小数点参照モデルとより近しい値となります。 これは、バージョン 2.0 での整数ベースの量子化モデルの確率が、バージョン 1.2 と比較するとわずかに異なることを意味します。 モデルは期待どおりに機能します。 正しい分類は、確率が最も高いものになります。
ModusToolbox™ ML 2.0 には、float および int8x8 量子化をサポートする TensorFlow Lite for Microcontrollers (TFLM) 推論エンジンのサポートが含まれるようになりました。 TFLM の int8x8 量子化モデルは、整数ベースの Infineon quantized モデルの代わりに使用できます。
詳細については、ModusToolbox™ Machine Learning ページを参照してください。
-------------------------------------------
Thanks,
Tetsuo
