Die Sammlung des Kunstmuseums Mülheim an der Ruhr wurde 1909 von Robert Reihnen, dem ersten Museumsdirektor (1912 bis 1920) begründet. Seine Privatsammlung, die neben Kunst auch Dokumente und Exponate zur Stadtgeschichte umfasste, wurde von der Stadt angekauft. 1943 wurde jedoch bei einem Bombenangriff der größte Teil des Bestandes zerstört.

Die heutige Schwerpunktsetzung der Sammlung geht auf die Direktoren Werner Kruse (1922 bis 1952), Werner Möhring (1952 bis 1961) und Christel Denecke (1962 bis 1982) zurück.
Unter Kruse kamen schon früh wichtige Werke bekannter Mülheimer Künstler wie Otto Pankok oder Heinrich Siepmann ins Haus. Möhring und Denecke gelang es, hochkarätige Gemälde und Grafiken des Expressionismus zu erwerben. Meisterwerke von Max Beckmann, Carl Hofer, Heinrich Campendonk, Max Ernst, Alexej von Jawlensky, Franz Marc, August Macke oder Emil Nolde bilden die glanzvollen Kernstücke der Gemäldesammlung.

Ein besonderes Augenmerk wurde von Anfang an dem Ankauf internationaler Grafik geschenkt, sodass Mappenwerke und Einzelblätter von Ernst Barlach, Karl Schmidt-Rottluff, Georges Braque, Marc Chagall oder Pablo Picasso erworben werden konnten. Mit dem Ankauf von Blättern von Georg Baselitz, Markus Lüpertz oder Sigmar Polke verfolgten die Direktorinnen Karin Stempel (1982 bis 1994) und Gabriele Uelsberg (1994 bis 2004) den eingeschlagenen Weg weiter und setzten neue Akzente.