【速報】AIの性能を調べる"Geekbench AI"爆誕!! ところでAIパソコンって，本当に"40TOPS"必要なの?

　うちの回線が10Gbps化したことにより，どんなルータを購入したか気になられる方もおられるかも知れませんが，(すでにあらかた原稿はできているのですが)ちょっと気になる情報がありましたのでこちらの方を先に書いてしまいます。

　"Primate Labs"が最近，AI向けのベンチマークソフト，"Geekbench AI"をリリースしました。これを使うことにより，マシンが持っているAI機能の性能を簡単に調べることができるのだそうです。
　というわけで早速ダウンロードし，我が家のマシンで試してみました。

　Windows，Mac(その他モバイルデバイス等)のAI性能を調べるベンチマークソフトになっています。CPU，GPU，(あれば)NPUごとに，単精度・半精度・量子化のそれぞれのスコアを算出することができるようになっています。というわけでいきなりうちのマシンについてAI性能を調べてみました。

⚫︎　単精度スコア
(1) Mac mini(2023)のGPU　5895
(2) 自作6号のGPU(GeForce GTX 1060 3GB)　5034
(3) Mac mini(2023)のCPU　3233
(4) Mac mini(2023)のNPU　2000
(5) CELCIUSのGPU(Quadro P600)　1896
(6) 自作6号のCPU(Core i7-7700K)　1361
(7) CELCIUSのCPU(Xeon E3-1275 v3)　1059

⚫︎　半精度スコア
(1) Mac mini(2023)のNPU　11922
(2) Mac mini(2023)のGPU　6482
(3) 自作6号のGPU(GeForce GTX 1060 3GB)　5038
(4) Mac mini(2023)のCPU　4777
(5) CELCIUSのGPU(Quadro P600)　1905
(6) 自作6号のCPU(Core i7-7700K)　441
(7) CELCIUSのCPU(Xeon E3-1275 v3)　375

⚫︎　量子化スコア
(1) Mac mini(2023)のNPU　12595
(2) Mac mini(2023)のGPU　5693
(3) Mac mini(2023)のCPU　3978
(4) 自作6号のGPU(GeForce GTX 1060 3GB)　3783
(5) CELCIUSのGPU(Quadro P600)　1905
(6) 自作6号のCPU(Core i7-7700K)　1802
(7) CELCIUSのCPU(Xeon E3-1275 v3)　1390

　この他Core2機でもベンチマークを取ろうとしたのですが，どうやらベンチマークソフトがまともに起動できなかったみたいで，やはりWindows機でいえば動作のためにはCore i機が最低必要なようです。
　お断りですが，ベンチマークのためのフレームワークが，MacではCoreMLしか選べず，Windowsでは2つ選べた中のONNXを使用しており，条件が違っていることをご了解ください。その上での比較ですが，やはり新しいアーキテクチャのMac miniが順調に上位を獲得しているようです。

　単精度・半精度・量子化の各スコアでは，それぞれ同じ10項目のテストを行っているのですが，グラフィックスに関わる8項目のテストについては，やはりGPU/NPUを使った時の記録が高く出るのですが，おそらくテキストに関わるであろう，"Text Classification"や"Machine Translation"のテストについては，Macの場合むしろCPUを使った方がスコアが高くなっているのが印象的でした。
　また，組み立て7年半が経過した自作6号ですが，今となっては遅いグラフィックスカード，"nVidia GeForce GTX 1060 3GB"でも，
・単精度の"Pose Estimation"(34386)
・単精度の"Style Transfer"(55653)
・単精度の"SImage Super-Resolution"(11299)
については，実は我が家一高速だったことが分かり，なかなか捨て難いものがあるのだなと再確認しました。

　では，最近話題の"Copilot+ PC"ではどうなのか。すでにテストを済ませた方が情報をアップされています。

https://signal65.com/research/ai/new-geekbench-ai-1-0-benchmark-analysis-and-early-results/

　Snapdragon X Elite 80-100について，フレームワークONNXを使用したスコアが，

⚫︎　単精度スコア
・CPU　2058
・NPU　2177

⚫︎　半精度スコア
・CPU　1603
・NPU　11069

⚫︎　量子化スコア
・CPU　5480
・NPU　21549

となったのだそうです。うちのM2 Mac miniと比べると，確かに量子化スコアの値はCPU・ NPUともそれぞれ圧倒的ですが，単精度スコアではCPUでは圧倒的にM2の勝ちでNPUではかろうじてSnapdragonの勝ち，半精度スコアではなんとCPU・NPUともM2の勝ち。
　あれ?　確かAI性能を示す"TOPS"という数値では，M2がたかだか15.8TOPSだったのに対し，Snapdragonは45TOPSだと言っていましたよね?
　確かに量子化されたデータを扱う場合は，Snapdragonは圧倒的に高性能かもしれませんが，AIを扱うのに単精度や半精度のデータも扱う必要があるでしょうから，その場合は決して高性能ではない，ということなのですか?

　そうなってくると，マイクロソフトが"Copilot+ PC"の動作要件に挙げた，NPUの性能"40TOPS"という指標は，非常に根拠が乏しい，と言わざるを得ません。というか，ひょっとすると，"Primate Labs"が今回"Geekbench AI"というベンチマークソフトをリリースした理由は，まさにこの，マイクロソフトが次世代PCに要求した水準の曖昧さを暴くため，だということなのでしょうか。