Mit dem Linien Werkzeug erstellt man Pfade. Dessen Auswahl wird dann gefüllt.
Pfade sind Vektoren. Dh, sie bestehen aus Mathematischen Informationen und nicht aus Pixeln. Somit kann man an einem Pfad kein Anti-Aliasing anwenden. Was auch wenig Sinn machen würde da Vektordaten nicht von Treppchenbildung betroffen sind.
In Photoshop kommt Anti-Aliasing meines Wissens nur bei Fonts zum Einsatz.
Ich frage mich aber was Du genau machen möchtest? Du willst absichtlich einen Treppeneffekt an deiner Linie erzeugen?