aを固定するとb=ma(1≤m≤⌊aN⌋)となるので、求める値はa=1∑Nm=1∑⌊aN⌋a×maとなります。
⌊aN⌋=kとなるようなaの範囲がLk≤a≤Rkであるとすると
k=1∑Na=Lk∑Rkm=1∑ka2m=k=1∑Na=Lk∑Rka2m=1∑km
となり、a=Lk∑Rka2とm=1∑kmはO(1)で計算できます。
また、⌊aN⌋=kとなるようなaが存在するようなkはO(N)個であるので合計で計算量はO(N)となります。
Lk,Rkの求め方は提出プログラムを参考にしてください。(と言うよりL決め打ってk,Rを求めてます)
kがO(N)個である説明:ABC230 Eの公式解説
おまけ
3変数(a,b,c)でも解けます