Tip / Sign in to post questions, reply, level up, and achieve exciting badges. Know more

Community Translations - Change in probability while using ModusToolbox™ ML version 1.2 vs version 2.0 - KBA236672

TeMa_2997106
Level 6
Level 6
10 likes received 10 solutions authored 250 replies posted

Hello.

I would like to translate the following KBA into Japanese.

https://community.infineon.com/t5/Knowledge-Base-Articles/Change-in-probability-while-using-ModusToo...

If you give permission, I will do the work.

Thanks,
Tetsuo

0 Likes
1 Solution
TeMa_2997106
Level 6
Level 6
10 likes received 10 solutions authored 250 replies posted

Bindu-san,

Please refer to the following translation.

-------------------------------------------

ModusToolbox™ ML version 1.2 とversion 2.0の違いにおける確率の変化 - KBA236672

ModusToolbox™ Machine Learning (ML) にてInfineon inference engineを使用した際、バージョン 1.2 (Figure 1)とバージョン 2.0 (Figure 2) と比較すると同一モデル、同一サンプルであるにも関わらず確率に違いがあります。

確率の変化は、softmax層の実装の違いによるものです。 ModusToolbox™ ML バージョン 1.2 では、softmax層は浮動小数点演算を使用して実装されていましたが、バージョン 2.0 では、固定小数点演算を使用して実装されています。 この変更により、整数ベースの量子化が生成されるときに、softmax層を含むすべての操作が整数ベースになります。

通常、softmax層はモデルの最後の層であり、ニューラル ネットの出力を確率分布に正規化するために使用されます。 浮動小数点演算を使用してソフトマックス レイヤーを実装すると、整数ベースのソフトマックス レイヤーを使用する場合よりも、出力される確率が元の浮動小数点参照モデルとより近しい値となります。 これは、バージョン 2.0 での整数ベースの量子化モデルの確率が、バージョン 1.2 と比較するとわずかに異なることを意味します。 モデルは期待どおりに機能します。 正しい分類は、確率が最も高いものになります。

ModusToolbox™ ML 2.0 には、float および int8x8 量子化をサポートする TensorFlow Lite for Microcontrollers (TFLM) 推論エンジンのサポートが含まれるようになりました。 TFLM の int8x8 量子化モデルは、整数ベースの Infineon  quantized モデルの代わりに使用できます。

詳細については、ModusToolbox™ Machine Learning ページを参照してください。

-------------------------------------------

Thanks,
Tetsuo

View solution in original post

0 Likes
3 Replies
IFX_Publisher2
Community Manager
Community Manager
Community Manager
500 replies posted 100 sign-ins First comment on blog

Hi Tetsuo san,

Confirm to work on this KBA

Thanks,
Bindu

0 Likes
TeMa_2997106
Level 6
Level 6
10 likes received 10 solutions authored 250 replies posted

Bindu-san,

Please refer to the following translation.

-------------------------------------------

ModusToolbox™ ML version 1.2 とversion 2.0の違いにおける確率の変化 - KBA236672

ModusToolbox™ Machine Learning (ML) にてInfineon inference engineを使用した際、バージョン 1.2 (Figure 1)とバージョン 2.0 (Figure 2) と比較すると同一モデル、同一サンプルであるにも関わらず確率に違いがあります。

確率の変化は、softmax層の実装の違いによるものです。 ModusToolbox™ ML バージョン 1.2 では、softmax層は浮動小数点演算を使用して実装されていましたが、バージョン 2.0 では、固定小数点演算を使用して実装されています。 この変更により、整数ベースの量子化が生成されるときに、softmax層を含むすべての操作が整数ベースになります。

通常、softmax層はモデルの最後の層であり、ニューラル ネットの出力を確率分布に正規化するために使用されます。 浮動小数点演算を使用してソフトマックス レイヤーを実装すると、整数ベースのソフトマックス レイヤーを使用する場合よりも、出力される確率が元の浮動小数点参照モデルとより近しい値となります。 これは、バージョン 2.0 での整数ベースの量子化モデルの確率が、バージョン 1.2 と比較するとわずかに異なることを意味します。 モデルは期待どおりに機能します。 正しい分類は、確率が最も高いものになります。

ModusToolbox™ ML 2.0 には、float および int8x8 量子化をサポートする TensorFlow Lite for Microcontrollers (TFLM) 推論エンジンのサポートが含まれるようになりました。 TFLM の int8x8 量子化モデルは、整数ベースの Infineon  quantized モデルの代わりに使用できます。

詳細については、ModusToolbox™ Machine Learning ページを参照してください。

-------------------------------------------

Thanks,
Tetsuo

0 Likes
IFX_Publisher2
Community Manager
Community Manager
Community Manager
500 replies posted 100 sign-ins First comment on blog

Hi,  Tetsuo san,

Confirmed to receive this KBA.

Thank you for your contribution.

Thanks,
Bindu

0 Likes