化肥对农业的影响历史悠久。根据古希腊传说，用动物粪便作肥料是大力士赫拉克罗斯首先发现的。赫拉克罗斯是众神之主宙斯之子，是一个半神半人的英雄，他曾创下12项奇迹，其中之一就是在一天之内把伊利斯国王奥吉阿斯养有300头牛的牛棚打扫得干干净净。他把艾尔菲厄斯河改道，用河水冲走牛粪，沉积在附近的土地上，使农作物获得了丰收。当然这是神话，但也说明当时的人们已经意识到粪肥对作物增产的作用。古希腊人还发现旧战场上生长的作物特别茂盛，从而认识到人和动物的尸体是很有效的肥料。在《圣经》中也提到把动物血液淋在地上的施肥方法。
千百年来，不论是欧洲还是亚洲，都把粪肥当作主要肥料。进入18世纪以后，世界人口迅速增长，同时在欧洲爆发的工业革命，使大量人口涌入城市，加剧了粮食供应紧张，并成为社会动荡的一个起因。化学家们从18世纪中叶开始对作物的营养学进行科学研究。19世纪初流行的两大植物营养学说是“腐殖质”说和“生活力”说。前者认为植物所需的碳元素不是来自空气中的二氧化碳，而是来自腐殖质；后者认为植物可借自身特有的生活力制造植物灰分的成分。1840年，德国化学家李比希出版了《化学在农业及生理学上的应用》一书，创立了植物矿物质营养学说和归还学说，认为只有矿物质才是绿色植物的养料，有机质只有当其分解释放出矿物质时才对植物有营养作用。李比希还指出，作物从土壤中吸走的矿物质养分必须以肥料形式如数归还土壤，否则土壤将日益贫瘠。从而否定了“腐殖质”和“生活力”学说，引起了农业理论的一场革命，为化肥的诞生提供了理论基础。