在十九世纪二十年代末，费城的一些正统贵格会成员希望建立一所学校以给会友的子女们提供高等教育。当时，费城周围仅有宾大一所学校有贵格会的背景，很多贵格会友的子女不得不选择一些非贵格会学校，比如耶鲁和布朗。于此，1833年，哈弗福德以塑造“博学、严谨、沉静并有所作为的男子”(well instructe, serious, reflecting an useful men) 为办校目标正式成立了。
最初，哈弗福德只是一所预备学院 (Haverfor School)，而且仅招收 12 岁以上的男生。第一年的学习生活由 7 名教职员工和 21 名男孩组成，授课内容包括希腊文，拉丁文，自然和道德哲学，数学和文学。学生的吃、住、上课都在 Founer Hall 这栋建筑中，而它至今还屹立在校园里，会议室，教师办公室、学院管理部门，以及校长办公室都在其中。
虽然当时很多贵格会友都为创立学院而慷慨解囊（在创校的最初一个月内就收到了 $43,500 的捐款），但在十年后，学院还是遇到了不少财政困难，并不得不在 1846 年关门。不过，贵格会友又再次团结在一起，给学院捐赠了 $70,000。两年后，学院重新开放，并且开始招录非贵格背景的学生。1856 年，在收到宾州州议会颁发的办学许可后，哈弗福德学院正式升格为大学.
哈弗福德在上世纪七十年代开始接受女生转学，并在那之后正式成为男女混校，但其致力于妇女教育的工作早就于 1917 年开始了。如今，在哈弗福德的在校生中，半数以上都是女生。在曾经很长一段的时间内，学院的整体学生数目不超过 300 人，不过自 1970 年起，学院有过两次大的扩招，最终达到了现在 1400 人左右的规模。虽然学院在今天已经不再隶属贵格会，这一宗教组织的友爱互助的处事哲学一直对学院有着深远影响。
哈弗福德学院是美国名列前茅的文理学院，被称为“quietly prestigious”，普林斯顿评论曾将其列入“最难进入的学校”中的第 18 名。学院在每年的 U.S.News 和 Forbes 排行榜中都稳居前十五，同时它在美国小常春藤联盟中占据着重要地位，是少有的同时具备优势地理位置和学术水准的文理学院。为了保障学生的团队意识和创造更多学术的机会，学院多年来保持小规模运作，只容纳 1400 名左右的学生。这样一来，在顶尖文理学院中，哈弗福德学院就成了最袖珍的学校。校内师生比率仅为 9:1，而且有超过半数的教授自愿居住在校园附近，全心全意为学院服务。
哈弗福德学院比较热门的专业有生物工程，英语文学，历史，政治科学以及哲学等，而比较强势的专业有生物物理学，经济，英语，历史，政治科学等。学院规定，只选择一个专业的学生必须选 19 门自己学科以外的课，而双学位的学生则没有这样的要求。其次，学院还要求所有学生必须要上大一写作课程 (First-year Writing Seminar)，以及修一年第二外语 (Secon Language)，而国际生不可以选择自己的母语，也就是说，除了英语与自己的母语之外，国际生还要再选一门第三外语。另外，所有学生都要选择自然科学 (Natural Science)，社会科学 (Social Science)，人文 (Humanities) 三个分类中的课，并且都要修满一定学分，才可以毕业。
哈弗福德学院是本科院校，没有硕士专业，但是因其良好的学术声誉与强劲的综合实力，哈弗福德也为本校学生争取到了福利。哈弗福德与布林茅尔、斯沃斯莫尔、宾大等这些同样具有贵格背景的高等学府结成了贵格院校联盟 (Quaker Consortium)，以提供给学生们额外的课程选择。哈弗福德与布林茅尔的关系尤其紧密，两校的一些学术科系甚至是彼此互补的。另外，哈弗福德学院还与宾夕法尼亚大学合作 4+1 工程专业本硕连读项目，即在哈弗福德学院读完本科 4 年获得学士学位，再去宾夕法尼亚大学学习一年得到硕士学位。学院和加州理工学院也有类似的 3+2 工程项目，学生可以取得哈弗福德与加州理工两所学校的学士学位。
学院的 Honor Coe 制度也非常出名。在 1897 年，哈弗福德的学生和教员们投票确立了用于规范学术事务的荣誉准则 (honor coe)。自 1963 年以来，每一个学生都可以预定自己的期末考试时间，在教室以外进行考试的许可也非常普遍。不过，对于时长、开闭卷和计算器的使用仍有严格规定。在上世纪七十年代，荣誉准则的范畴被扩展到了社交领域。准则中并没有具体规范行为，而是强调了信任、关怀、尊敬和诚以待人这些品质。荣誉准则由学生会代表全校学生修订并由其干部执行，所有的学术违纪行为会在学生陪审团前进行听证。每一位哈弗福德在入学前都需要在荣誉准则上签署自己的名字。
哈弗福德学院“小而精”的教育方式效果也是十分显著的，从哈弗福德学院毕业的学生们大多学术水平高，专业素养好，并且很有自己的思想见解，所以很多哈弗福德毕业生会在毕业后继续进入哈佛牛津麻省理工等世界顶级的研究院深造，而有一个惊人的数字是，大约有 90% 的毕业生能成功进入到研究生院。其名人校友大都集中在商界、政界以及娱乐界、科学界，包括时代华纳公司 CEO 拉尔德·李文、2006 年诺贝尔和平奖获得者菲利普·诺埃·贝克、以及美国第一位获得诺贝尔化学奖的科学家西奥多·威廉理查兹。
