清光绪年间，何海霞出生于北京一个满族家庭，他的父亲叫何子元，依靠写字养家糊口。何海霞幼年时期就随父亲学习书法，后来进入私塾接受启蒙教育，学习“四书五经”等古文学，后来进入北京太仆寺街第二小学读书。早年，何海霞就曾跟随北京画家韩公典学习国画，临习唐、宋、元、明、清等各个朝代的古画，还同时学习画作装裱和鉴赏等技艺。后来入选当时在民国期间最有影响力的艺术机构中国画研究会。

    1931年，何海霞和当时京城有名的京剧世家叶氏家族联姻，娶了叶家小姐叶玉珍为妻，夫妻二人时常得到叶家的资助。

    何海霞和张大千的结缘要从一幅画说起，1931年，何海霞创作了《饷鸟图》，这幅作品参加了中国画学研究会第九次成绩展览，并被张大千大为欣赏。后来，何海霞就干脆拜张大千为师，跟他学画。这成为了何海霞艺术道路上的一个重要转折点。

    此后，何海霞和张善子、张大千等人在天津永安饭店举行了8人联展，轰动塘沽，《齐白石、张大千、于非厂、何海霞四人联展》也在吉林长春举行。1936年，何海霞跟随老师张大千前往山东益都采风。后在北京中山公园的水榭稷园举办了《赈济西郊赤贫于非厂、张大千画展》，何海霞有两幅山水画展出，此外，他还和同门合作了《太白观瀑》、《东坡行吟》、《和靖爱海》、《渊明赏菊》等参展，作品均被收藏，所得款项全部捐赠济贫。

    1937年，何海霞跟随张大千住在颐和园，这期间，何海霞突破了界画用尺子画线的绳规，凭借着扎实的功底直接作画，使得画面更加灵动和洒脱。后来，张大千前往上海，何海霞和张大千于是分别，从此天各一方，有8年未再见面。