In Git etwas verschwinden zu lassen ist oft gar nicht so einfach. Tags sind jedoch eine Ausnahme. Selbst wenn sie schon auf dem Remote-Server liegen, kann man sie einfach entfernen:
git tag -d release1 git push origin :refs/tags/release1
Sehr angenehm, wenn man mal wieder etwas voreilig war.