Bei jedem Album der Gruppe steht ein anderer Abschnitt der Musikgeschichte im Fokus. So beschränkt sich das erste Werk „Have a Ball“ (1997) auf die 1960er, 1970er und 1980er mit Songs von Größen wie Elton John, Neil Diamond oder John Denver. Die weiteren Alben arbeiten an Richtungen wie R&B, Country oder Pop-Musik.
Neben dem Faible für verschiedene Musikrichtungen hegen Me First & The Gimme Gimmes auch eine Leidenschaft für verrückte Kostümierungen auf der Bühne. Genauso verrückt: Auf ihrem 2011 erschienenen Album „Sing in Japanese“ orientierten sich die Musiker wie der Name schon sagt an Musik aus Fernost.