線の端っこを越えたことを判別する方法

上の図 ↑ をクリックのこと
 
#include 
double rad0 = atan2(y1 -y0, x1-x0);
double rad1 = atan2(y1 -y', x1-x');
 
if (fabs(rad0 -rad1) >= pi * 0.5){
  # 点線を越えた
}