Der Grundstein für Flechtheims zweite Karriere als Kunsthändler wurde in Paris gelegt, als er sich 1906 dort zu Ausbildungszwecken aufhielt. Hier machte er die Bekanntschaft mit der deutschen Künstlerkolonie im Café du Dôme und 1907 mit dem aus Mannheim stammenden Kunsthändler Daniel-Henry Kahnweiler (1884-1979) sowie mit Pablo Picasso (1881-1973). In wenigen Jahren erwarb Flechtheim eine stattliche Anzahl von Werken der Kubisten und galt als einer der großen deutschen Sammler von Werken von Picasso.

1909 begann Flechtheim aktiv am Düsseldorfer Kunstleben teilzunehmen, in dem er sich als Schatzmeister und Leihgeber in der Künstlervereinigung „Sonderbund“ und in der Berliner Sezession engagierte. Im „Schlüsseljahr 1913“ [Florian Illies] eröffnete Flechtheim mit Unterstützung von Paul Cassirer die „Galerie für alte und neue Kunst“ in Düsseldorf. Der aufwendig gestalteten Katalog zur Eröffnung enthält Flechtheims enthusiastische und idealistische Losung: „Endlich bin ich in der Lage, mir einen lange gehegten Wunsch zu erfüllen: mich nur mehr mit Dingen der Kunst zu beschäftigen. Dazu soll mir meine Galerie dienen.“ Ab diesem Zeitpunkt war der bislang als „Marchand Amateur“ ohne Galerie operierende Alfred Flechtheim als Kunsthändler mit eigenen Geschäftsräumen aktiv.

Der Ausbruch des Ersten Weltkriegs, an dem Flechtheim als Freiwilliger teilnahm, unterbrach die Entwicklung und zwang ihn 1917 zur Versteigerung seiner Sammlung und der Galeriebestände. Zwei Jahre später wagte Flechtheim an der exklusiven Düsseldorfer Königsallee den Neubeginn. Er bereicherte das Galerieprogramm mit Künstlern aus Frankreich und Deutschland und gab parallel zu den Ausstellungen exklusive Editionen heraus. 1921 rief er die innovative Galeriepublikation „Der Querschnitt“ ins Leben, begann in Berlin, Frankfurt, Köln und Wien Filialen und Repräsentanzen einzurichten und verpflichtete Gustav Kahnweiler, Alex Vömel und später Curt Valentin als neue Mitarbeiter. Wegen der Bedeutung des Berliner Standortes zog Flechtheim dorthin, während er die Düsseldorfer Galerie Alex Vömel anvertraute. Trotz vieler durch die Zeitumstände hervorgerufenen Höhen und Tiefen gelang es Alfred Flechtheim im Laufe der 20er Jahre, seine Galerien fest in der zeitgenössischen Kunstszene zu etablieren.  Bei seinen Eröffnungen fanden sich Künstler, Sammler, Literaten, Publizisten, Museumsleute und andere Kunstinteressierte ein. Die Namensliste in der Festgabe des  „Querschnitt“ zum 50. Geburtstag von Flechtheim im Jahr 1928, unter ihnen Ernest Hemmingway, André Gide, Jean Cocteau und Max Schmeling, ist ein eindrucksvolles Dokument des großen und internationalen Personenkreises, der sich in diesen Jahren um Flechtheim gebildet hatte.

In Berlin gab es aufgrund der dort lebenden finanzkräftigen Sammlerklientel starke  Konkurrenz: zahlreiche Kunsthandlungen und Galerien traten mit repräsentativen Lagen und aufwendig gestalteten Ausstellungsräumen hervor. Paul Cassirer, der Flechtheim  beruflich immer unterstützt hatte, förderte die deutschen Impressionisten, aber auch Künstler aus dem Flechtheim-Kreis. Heinrich und Justin Thannhauser waren ab 1927 in Berlin ansässig und boten ein Flechtheim sehr ähnliches Angebot. Sie verfügten dank ihrer jahrzehntelangen Tätigkeit über ein außergewöhnlich gut aufgebautes System der Kundengewinnung und waren eine deutliche Konkurrenz für Flechtheims Berliner Galerie. Der Gegenpol im Rheinland waren die Galerien Abels und die von Johanna Ey, die die Künstler der Künstlergruppe „Junges Rheinland“ vertrat, die Flechtheim schon 1921 öffentlich provozierten. Andere Düsseldorfer Kunsthäuser wie Max Stern oder Georg Paffrath setzten auf alte Kunst und waren keine direkten Konkurrenten.

Als es im Oktober 1929 zum „Schwarzen Freitag“ an der New Yorker Börse kam, waren längst nicht alle Darlehen der Galerie Flechtheim GmbH abbezahlt, die Verkäufe bereits zurückgegangen und die finanzielle Situation wurde prekär. Flechtheim sah sich schließlich genötigt, Jahres-Verträge über Mindesteinkommen, die er mit Künstlern geschlossen hatte, aufzulösen. Außerdem konnte er sich Ausstellungen nur noch leisten, wenn die Künstler bereit waren, die anfallenden Kosten für Transporte, Versicherungen oder Einladungskarten selbst zu übernehmen.

Zum Jahreswechsel 1932/1933 zeigte Flechtheim „Lebendige deutsche Kunst“ – seine letzte Ausstellung in Deutschland, wie sich herausstellen sollte.