Ja, da hast du ja dann genug Vorschläge bekommen.
Das Problem ist halt, daß nicht alle Buttons gleich generiert werden.
Es gibt
<a href="#"><img src="" alt="" /></a>
und es gibt
<input type="image" alt="" title="" />
Die beiden Typen kann man nicht so ohne weiteres gleich behandeln.
Wenn du kein Javaycript benutzen möchtest und die Pseudoklasse "hover" in CSS benutzen möchtest, wirst du nicht umhin kommen neue Buttons zu erstellen.
Die Buttons bei hover auszutauschen dürfte viel zu aufwändig werden, denn du müsstest ja dann für jeden Button zwei Varianten vorhalten.
Also bleibt background in CSS oder box-shadow.
Für background-Änderungen müsstest du in der Tat, wie bereits gesagt worden, transparente images nehmen (gif oder, wenn mit Verlauf evtl. png).
Diesen Bildern müsstest du dann einen background geben welcher sich auf hover ändert.
Um alle Button anzusprechen muß man sich ein wenig verrenken, da sie ja nicht alle eine ID, oder eine Klasse haben.
Es wird also einige Arbeit fällig, um (mit Hilfe von Firebug ?) herauszufinden wie man die Buttons in CSS alle erfasst.
Die input -Button z.B. so:
input [type="image"] {some css styles;}
Für die anderen schaust du ins XHTML und mußt halt suchen wie du sie ansprechen kannst.
Um da genaueres zu sagen, müsste man dein Template kennen.
Wenn es dir lediglich um einen Effekt beim Hovern geht, ist wohl vielleicht box-shadow die erste Wahl.
Damit schließt man allerdings gewisse Browser der Firma "Miniweich" aus.
Wenn du einen Link hättest, könnte man mehr helfen....
Gruß,
noRiddle