Formát BFloat16 vznikl jako řešení určené na míru světu akcelerátorů umělé inteligence, konkrétně DL, strojového učení (Deep Learning). Je důsledkem faktu, že většina hardwaru zvládá formát FP16 2× rychleji než FP32, respektive formát FP32 2× pomaleji než FP16 a ve chvílích, kdy FP16 nebyl dostatečně přesný (z hlediska výsledku) a bylo nutné přistoupit v k využití FP32, docházelo k degradaci výkonu.

Na BFloat16 můžeme nahlížet jako na formát, který vznikl z FP32 (32bit IEEE 754), který disponuje 8 bity pro dynamický rozsah (exponent) a 24 bity pro přesnost tohoto formátu (mantisa). BFloat16 zachovává 8 bitů dynamického rozsahu (exponent), ale přesnost formátu (mantisa) je snížena na 8 bitů. Z hlediska DL výpočtů není pro přesnost výsledků tolik důležitá přesnost formátu (mantisa) jako rozsah (exponent), takže výsledky výpočtů jsou podobně přesné jako při FP32, ale výkon je díky 16 bitům (8 bitů exponent + 8 bitů mantisa) podobný jako při použití FP16. Jde tedy o kompromis na míru.

O podpoře BFloat16 jsme několikrát slyšeli v souvislosti s nadcházejícím hardwarem Intelu, konkrétně se 14nm Xeony Cooper Lake, které se chystají na příští rok. Cooper Lake je derivátem desktopové architektury, ale v produktech (HW i SW) od píky navržených na míru pro AI/DL se s BFloat16 již nějakou dobu počítá. Zmínit lze Nervana NNP-L1000 a FPGA, pokud jde o produkty Intelu, dále Cloud TPU a TensorFlow od Googlu a nakonec i architekturu ARMv8.6-A stejnojmenné společnosti.

Vrátíme-li se k hardwaru, který je architektonickým derivátem produktů pro desktop, dozvídáme se nově o podpoře na straně AMD. Aktualizované knihovny ROCm na GitHub totiž ukazují, že s podporou BFloat16 výrobce Radeonů počítá. Samozřejmě zatím není jasné, kdy a v jakém rozsahu. Může jít o architekturu RDNA2, může jít o konkrétní produkt na této architektuře postavený. Stejně tak ale může jít o vývojovou větev architektury Vega, o níž AMD prohlásila, že její éra zdaleka neskončila a bude jí dále rozvíjet v segmentech, kde lze dobře využít její přednosti (mezi něž výpočetní nasazení rozhodně patří).