人工智能推動了新數(shù)字格式的爆炸式增長，這些格式?jīng)Q定了數(shù)字在計算機中的表示方式。工程師們正在尋找各種可能的方法來節(jié)省計算時間和能源，包括縮短用于表示數(shù)據(jù)的位數(shù)。但適用于人工智能的方法并不一定適用于科學(xué)計算，無論是計算物理學(xué)、生物學(xué)、流體力學(xué)還是工程仿真。IEEE Spectrum采訪了最近加入巴塞羅那Openchip公司擔(dān)任AI工程師的Laslo Hunhold，了解他開發(fā)專門用于科學(xué)計算的定制數(shù)字格式的努力。

Laslo Hunhold是巴塞羅那初創(chuàng)公司Openchip的高級AI加速器工程師。他最近在德國科隆大學(xué)完成了計算機科學(xué)博士學(xué)位。

數(shù)字格式為什么讓你感興趣

Hunhold：我不知道還有哪個領(lǐng)域像這樣，很少有人關(guān)注但影響如此巨大。如果你制作的數(shù)字格式能效提高10%，這可以轉(zhuǎn)化為所有應(yīng)用程序效率提高10%，能夠節(jié)省大量能源。

為什么會出現(xiàn)這么多新的數(shù)字格式

Hunhold：幾十年來，計算機用戶的日子很輕松。他們只需要每隔幾年購買新系統(tǒng)，就能免費獲得性能提升。但在過去10年里情況并非如此。在計算機中，你用特定的位數(shù)來表示單個數(shù)字，多年來默認(rèn)是64位。對于人工智能，公司注意到他們每個數(shù)字不需要64位。所以他們有強烈的動機降低到16位、8位甚至2位來節(jié)省能源。問題是，用64位表示數(shù)字的主導(dǎo)標(biāo)準(zhǔn)并不適合較低的位數(shù)。所以在人工智能領(lǐng)域，他們提出了更適合AI的新格式。

為什么人工智能需要與科學(xué)計算不同的數(shù)字格式

Hunhold：科學(xué)計算需要高動態(tài)范圍：你需要非常大的數(shù)字，或者非常小的數(shù)字，在這兩種情況下都需要很高的精度。64位標(biāo)準(zhǔn)具有過度的動態(tài)范圍，在大多數(shù)情況下需要的位數(shù)遠(yuǎn)超必需。人工智能則不同。數(shù)字通常遵循特定分布，不需要那么高的精度。

什么讓數(shù)字格式"優(yōu)秀"

Hunhold：你有無限的數(shù)字但只有有限的位表示。所以你需要決定如何分配數(shù)字。最重要的部分是表示你實際將要使用的數(shù)字。因為如果你表示一個不使用的數(shù)字，你就浪費了一個表示。最簡單的考慮是動態(tài)范圍。其次是分布：如何將位分配給特定值？你有均勻分布還是其他分布？有無限種可能性。

什么促使你引入takum數(shù)字格式

Hunhold：Takums基于posits。在posits中，使用頻率更高的數(shù)字可以用更高密度表示。但posits不適用于科學(xué)計算，這是一個巨大問題。它們對接近1的數(shù)字有高密度，這對人工智能很好，但一旦你看更大或更小的值，密度就急劇下降。在過去幾年里，人們提出了幾十種數(shù)字格式，但takums是唯一真正為科學(xué)計算量身定制的數(shù)字格式。我發(fā)現(xiàn)了科學(xué)計算中使用的動態(tài)范圍值，如果你看所有領(lǐng)域，并設(shè)計了takums，這樣當(dāng)你減少位數(shù)時，不會降低動態(tài)范圍。

Q&A

Q1：為什么人工智能的數(shù)字格式不適合科學(xué)計算？

A：科學(xué)計算需要高動態(tài)范圍，既要處理非常大的數(shù)字，也要處理非常小的數(shù)字，在兩種情況下都需要很高的精度。而人工智能的數(shù)字格式通常針對特定分布優(yōu)化，不需要那么高的精度，因此不能滿足科學(xué)計算的嚴(yán)格要求。

Q2：takum數(shù)字格式有什么特殊優(yōu)勢？

A：Takums是唯一真正為科學(xué)計算量身定制的數(shù)字格式。它基于posits但解決了posits的問題，確保在減少位數(shù)時不會降低科學(xué)計算所需的動態(tài)范圍，能夠更好地適應(yīng)科學(xué)計算中各個領(lǐng)域的數(shù)值范圍需求。

Q3：開發(fā)新數(shù)字格式能帶來多大的效益？

A：如果開發(fā)出能效提高10%的數(shù)字格式，這可以轉(zhuǎn)化為所有應(yīng)用程序效率提高10%，從而節(jié)省大量能源。雖然很少有人關(guān)注這個領(lǐng)域，但它對整體計算性能的影響非常巨大。