Also ich habe jetzt viel getüftel und ausprobiert.
Ohne die Startzeit bzw. die Clickzeit auf den Button mitzugeben, bekomme ich es nicht hin. (also komplett ohne Clientzeit)
Ich habe die Zeit jetzt komplett vom Server berechnen lassen und einen Durchschnittswert der Abweichung gebildet - das funktioniert gut. Dauert der Request (warum auch immer) zwischendrinn mal richtig lange + >1 Sekunde, verfälscht es den kompletten Durchschnittswert und keine zukünftige Eingabe wird mehr akzeptiert.
Der Ping beträgt zw. 20 und 25 ms - die tatschächliche Abweichung von ClientClick - ClientStart - Uhrzeitdifferenz sind im Schnitt 150 ms und ich kann mir nicht erklären wo diese Abweichung herkommt.
Ausserdem funktioniert pingen vom Server auf sich selbst auch nicht bzw. gibt keinen Wert zurück.
Ich verzweifel noch...