右側から長方形を敷き詰めるのが最適です。なぜなら左側に寄ると三角形の斜辺で高さが低くなるからです。
[x,x+1][x,x+1][x,x+1]に正方形を縦に積められる個数は⌊YXx/H⌋\left\lfloor \frac{Y}{X}x / H \right\rfloor⌊XYx/H⌋個と求めることができます。
よって、以下の式をFloor Sumで求めれば良いです。