米芾五世祖米信，宋初勋臣。《宋史》卷261有传，淳化五年（994年）卒，六十七岁。高祖、曾祖多系武职官员。芾父字光辅，官左武卫将军（一说米芾父名“佐”，徐邦达《米芾生卒年岁订正及其它二三事考》中认为后世称“父佐”当误。依据是米芾之孙米宪辑录《宝晋斋山林集拾遗》卷首附载的《故南宫舍人米公墓志》中谈到米芾父亲处云：“父致仕，左武卫将军。”后人则讹为“父佐，左武将军，”也许把“致仕”的仕字讹为“佐”字，又把致字脱去的缘故。）赠中散大夫、会稽（县）公。米芾《书史》云：“濮州李丞相家多书画，其孙直秘阁李孝广收右军黄麻纸十余帖，辞一云白石枕殊佳……后有先君名印，下一印曰‘尊德乐道’。今印见在余家。先君尝官濮，与李柬之少师以棋友善，意以奕胜之，余时未生。”由此知米芾在未出生时，其父曾在濮州为官，喜爱书画艺术，并精于鉴赏，且“尊德乐道”。

　　芾母阎氏，因其“侍宣仁皇后藩邸，出入禁中，以劳补其子为殿侍，后登进士第，恩补校书郎、太常博士，出知无为军。逾年，召为书画博士，擢礼部员外郎，知淮阳军。”《宋史》、《京口耆旧传》、《丹徒县志》、《襄阳县志》、《全宋诗》、《鸡肋编》等均有载。翁方纲《米海岳年谱》谓芾母“赠丹阳县太君”。