作問コンでの 出題です。 幾何は実装が面倒くさいようにあるので出題しました。確認できていませんがAOJなどで既出かもしれません。
凹多角形同士の共通部分を求めるのは難しいですが、多角形A, Bそれぞれを三角形などの凸多角形に分割することで容易に共通部分の面積を求めることができます。 pythonなんかのライブラリを用いても解けるようです。