Koncertstedet åbnede [[1991]] under navnet Copenhagen JazzHouse og har i dag to forskellige scener. Den store scene befinder sig i kælderplan, mens den lille scene Herluf findes i stueplan og er opkaldt efter [[Herluf Kamp Larsen]], der åbnede [[Jazzhus Montmartre]] nytårsaften 1961.
Jazzhouse' historie skal ses som en direkte forlængelse af de to verdenskendteforegående jazzklubber i København under navnet Jazzhus Montmartre. Den første jazzklub i St. Regnegade i årene 1961 til 1976, under ledelse af Herluf Kemp Larsen, blev platformen for en lang række unge danske jazzmusikere. Gennem langvarigt samarbejde med nogle af verdens bedsteverdensberømte jazzmusikere, satte de Danmark på jazzens verdenskort og gjorde København til jazzens by. Blandt de mange gæstemusikere, som spillede i Montmartre i længere perioder var saxofonisterne [[Dexter Gordon]], [[Ben Webster]], [[Stan Getz]], [[Sonny Rollins]] og [[Hank Mobley]], pianisterne [[Bud Powell]], [[Jan Johansson]] og [[Dollar Brand]] samt bassisten [[Oscar Pettiford]] <ref name="Jazz i Danmark 1950-2010">{{cite book|authors=Olav Harsløf, Finn Slumstrup (ed.)|title=Jazz i Danmark 1950-2010|publisher=Politikens Forlag|ISBN=9788756795654}}</ref> <ref name="Om Jazzhouse">[http://www.jazzhouse.dk/om-copenhagen-jazzhouse/historien/ Om Jazzhouse]</ref>.
Da Montmartre i St. Regnegade lukkede, tog en række mennesker omkring jazzmusikeren [[Arnvid Meyer]] og den legendariske restauratørrestauratøt [[Kay Sørensen]] i 1976 initiativ til at åbne et ny Jazzhus Montmartre. Denne gang i Nørregade i København i den tidligere natklub Adlon. Klubben var væsentlig større end den første, og fikblev tillige et velbesøgt natdiskotek.
Idéen om Copenhagen Jazzhouse opstod efter Kay Sørensens død i 1988. Over 200 mennesker mødtes til et stormøde i januar 1990, hvor der var enighed om at nedsætte en stor arbejdsgruppe om etablering af en klub i København<ref name="By af Jazz">{{cite book|authors=Christian Munch-Hansen|title=By Af Jazz, Copenhagen Jazz Festival i 30 år|publisher=Thaning&Appel}}</ref>. I oktober 1991 åbnede Copenhagen Jazzhouse, som en jazzklub der udsprang af jazzmiljøet, bakket op af musikere, musikpolitikere, stat og kommune. Modellen var den samme som i Montmartre Nørregade: En international og højt profileret jazzklub og natklub.
I august 2011 lukkede Jazzhouse som følge af skybruddet over København<ref name="Vandskade lukket kendt spillested ned, Politiken">[http://ibyen.dk/musik/ECE1364100/vandskade-lukker-kendt-spillested-ned/ Vandskade lukket kendt spillested ned]</ref>. Huset genåbner efter ombygning i foråret/sommeren 2012 <ref name="Skybrudsramt spillested må vente måneder på at åbne, Politiken">[http://ibyen.dk/musik/ECE1516447/skybrudsramt-spillested-maa-vente-maaneder-paa-at-aabne/ Skybrudsramt spillested må vente måneder på at åbne]</ref>.
