Ein Reload hat natürlich auch einen Nachteil..... die ganze Seite muss neu geladen werden.
So lange auf der Seite nur gelesen werden soll und sie schnell ist, stört es nicht unbedingt weiter.
Wenn der User aber z.b. ein Formular ausfüllen soll, dann dürfte der Reload doch "etwas" nervend sein.

Der Counter müsste dann also in ein (i-)Frame.
Ob es sich lohnt JavaScript zu lernen, ist wohl eher Ansichtssache.
Ich habe zwar ein fettes Buch über JavaScript aus "vergangenen Tagen" hier rumfliegen (war ja mal in Mode), aber lernen? Nee, muss ich mir nicht antun.

Aber wenn Du trotzdem JavaScript lernen willst, dann solltest Du evtl. in Erwägung ziehen ob Du nicht gleich in Ajax einsteigen willst.
Wieviel Prozent haben JavaScript deaktiviert?
Lässt sich wohl nur schwer sagen..... ich kenne jedenfalls keine Statistiken.
Aber selbst wenn es darüber Statistiken gibt, sagt es noch lange nichts darüber aus wann der User auf welcher Seite JavaScript zulässt.
Ich z.b. habe "eine Handvoll" Browser mit verschiedenen Einstellungen/Profilen installiert..... diese nutze ich je nach Vertrauen.
Im schlimmsten Fall fasse ich die Seite nur mit der Pinzette an..... selbst Coockies werden dann abgelehnt.
Dennis hat Dir ja einen Link zu seinem PHP-Tutorial genannt..... mit Hilfe dessen könnstest Du Dir ja quasi eine eigene Statistik erstellen um so Deine Seite dahingehend (JavaScript vs. non JavaScript) schwerpunktmässig zu optimieren.