In 2003 zag Bikini Atoll het levenslicht, een band waarmee Joe Gideon twee albums uitbracht, waarna hij besloot zich meer te richten op zijn singer/songwriter skills. Dit kwam tot uiting als duo met zijn zus in Joe Gideon & The Shark. Ze brachten twee albums uit en tourden met Seasick Steve en Nick Cave & The Bad Seeds door volle zalen in het Verenigd Koninkrijk. In 2012 gingen de broer en zus ieder hun eigen weg.
Tijdens een van zijn tours raakte Joe bevriend met Jim Sclavunos, van The Bad Seeds, die hem heeft geholpen bij Versa Vice, het debuutalbum uit 2016. Deze samenwerking beviel, want begin dit jaar hebben Joe Gideon, Jim Sclavunos en mede bandlid Gris-De-Lin een nieuw album uitgebracht genaamd Armagideon, waarop de kenmerkende lyrische en post-financiële Engelse crisis-blues te horen is. Het album gaat over tijdreizen, reptielenmensen en primitieve gelukzaligheid. En je kunt saxofoons ontdekken, een antieke piano en synth-vibrafoon, allen gered van het grofvuil.
Op 25 maart komt hij het album samen met de twee muzikanten ten gehore brengen in VERA.