Mafia II commence un peu avant la fin de la Seconde Guerre mondiale, en février 1945 : Vito, qui combat alors en Sicile au sein de l'armée américaine, obtient une permission et retourne donc chez lui, à Empire Bay, aux États-Unis. Là-bas, il retrouve sa mère et sa sœur, ainsi que Joe, son ami d'enfance. L'action tourne ainsi autour du duo Vito et Joe, ce dernier ayant échappé à la police au moment de l'arrestation de son ami et à son enrôlement dans l'armée américaine, quelques années auparavant, et qui, pendant l'absence de Vito, se sera fait une place dans la famille mafieuse Clemente.