Il singolo di All These Things That I’ve Done è stato inizialmente pubblicato solo in UK il 30 Agosto 2004, in versione cd singolo e vinile 7″. Nel resto d’Europa e in Australia e Nuova Zelanda l’uscita è stata di circa un anno di ritardo rispetto al Regno Unito.

È quella che viene definita l’inno dei Killers, la canzone di chiusura dei concerti e quella che, anche dopo il peggiore dei concerti, è “fantastica, è come se ci fossero gli angeli a cantare con noi, solleva il morale a tutti.” Il merito è sicuramente del verso ‘I got soul but I’m not a soldier’, preso in prestito anche da altri cantanti nei loro live. La frase è probabilmente ispirata al fatto che Brandon, in quanto mormone praticante, al termine dell’adolescenza sarebbe dovuto andare in missione religiosa all’estero (come d’altronde aveva già fatto suo fratello Shane) ma non lo fece. E forse immagina di cantare quel verso ai genitori.
Fra le B-Side c’è una cover di Morrissey, Why Don’t You Find Out For Yourself, registrata per il programma di BBC Radio 1, Live Lounge, nell’estate 2004.

Anche per All These Things That I’ve Done, come già per Mr Brightside, esistono due video che seguono le diverse tempistiche di uscita del singolo. La versione ‘inglese’ è stata girata in gran parte a Brick Lane, famosa via di Londra, e durante il concerto che la band ha tenuto all’Astoria l’8 Luglio 2004.
La versione internazionale è stata invece girata da Anton Corbijn. Particolarità di questo video, oltre ad avere la pellicola in bianco e nero, è che la storia non raccontata è in ordine. La band si è completamente fidata del regista ma pare che neanche loro siano riusciti a capirne il senso.