根据考古发现，奥地利在旧石器时代已经有人类活动。约公元前750～前450年间，此地已属早期铁器时代，伊利里亚人在这里创造出有较高水平的哈尔施塔特文化。公元前400年左右，有多个凯尔特人的部落在此地区活动。公元前15年罗马帝国占领了凯尔特王国诺里库姆并设立为行省。
罗马帝国衰落后奥地利曾先后被匈人、伦巴第人、东哥特人、西哥特人、阿瓦尔人、巴伐利亚人和法兰克人占据。一支斯拉夫部落向阿尔卑斯地区迁移，占据了现今奥地利的中部和东部地区，建立了卡拉塔尼亚王国。
公元788年查理曼征服了该地区，鼓励拓殖，并引进了基督教。后来查理曼帝国一分为三，包括奥地利地区在内的东法兰克由巴本堡王朝继承。该地区被称为为“marchiaOrientalis”（“东方边疆领”之意），976年被赠予巴本堡的利奥波德。
奥地利这个名字最早见诸记录是在996年，当时写作Ostarrîchi，用以表示巴本堡王朝的边疆领地区。1156年的小特权将奥地利升格为公国；1192年巴本堡王朝又获得了施蒂利亚公国。1246年奥地利的腓特烈二世死后，巴本堡王朝绝嗣，奥地利遂落入波希米亚的普热米斯尔·奥托卡二世之手。但1278年在边疆领之战中奥托卡二世败于德意志的鲁道夫一世，从此直至第一次世界大战结束后为止，奥地利一直受哈布斯堡家族统治。
哈布斯堡家族在14、15世纪积极扩张领土。1526年奥地利取得了波希米亚和奥斯曼帝国未有占领的匈牙利，两大帝国之间的摩擦日益增多。1683年9月12日的维也纳之战中奥地利联合来自波兰的援军将围困维也纳两个月之久的奥斯曼帝国军队击败。这场战役阻止了奥斯曼帝国向欧洲中西部扩张的行动，并维持了哈布斯堡王朝在中欧的霸权；随后的一连串军事行动，导致1699年卡尔洛夫奇条约的签订，奥地利获取匈牙利全境。从此至1806年神圣罗马帝国覆亡之前，哈布斯堡家族便等同神圣罗马帝国。
随着普鲁士的崛起，奥地利开始了与普鲁士之间长期的争夺德意志地区霸权的斗争。同时奥地利也先后伙同普鲁士及俄罗斯两次参与瓜分波兰（第一次和第三次）。
