文化7年（1810年）9月24日、長州藩士で無給通組・杉常徳（七兵衛）の3男として萩で生まれる。
文政3年（1820年）6月、家格では杉家より上にあたる大組士、40石取りの玉木正路（十右衛門）の養子となって家督を継いだ。

天保13年（1842年）に松下村塾を開いて、少年期の松陰を厳しく教育した。また親戚の乃木希典も玉木の教育を受けている。
天保14年（1843年）に大組証人役として出仕。
安政3年（1856年）には吉田代官に任じられ、以後は各地の代官職を歴任して名代官と謳われたという。
安政6年（1859年）に郡奉行に栄進するが、同年の安政の大獄で甥の松陰が捕縛されると、その助命嘆願に奔走した。
しかし松陰は処刑され、その監督不行き届きにより万延元年（1860年）11月に代官職を剥奪されている。

文久2年（1862年）に郡用方として復帰し、文久3年（1863年）からは奥阿武代官として再び藩政に参与し、その年のうちに当役（江戸行相府）に進む。
藩内では尊王攘夷派として行動し、毛利一門家厚狭毛利家毛利親民の参謀を兼ね、慶応2年（1866年）の第2次長州征伐では萩の守備に務めた。その後、奥番頭にすすむが明治2年（1869年）には政界から退隠し、再び松下村塾を開いて子弟の教育に務めている。なお、実子で継嗣であった玉木彦助は奇兵隊に入隊し、功山寺挙兵後の戦いで落命している。

明治9年（1876年）、前原一誠による萩の乱に養子の玉木正誼や門弟の多くが参加したため、その責任を取る形で11月6日に先祖の墓の前で自害した。享年67。その後は正誼の子、正之が相続。

山口県萩市に旧宅が保存されている。