1848年革命運動中，德意志民間數百名資產階級人士前往法蘭克福，自發組建立憲會議，探討建立統一的立憲制“帝國”，拋棄貴族組成的松散的德意志邦聯。1848年6月，法蘭克福立憲會議選舉“帝國攝政”，任命臨時中央政府，第二年3月還頒布“帝國憲法”。這個政權雖然如空中樓閣，沒有得到任何德意志邦的承認，但在1848年革命浪潮中，卻為德意志統一與立憲指明方向。
有趣的是，法蘭克福立憲會議的574名代表中，德意志傳統宗主奧地利僅有2名，普魯士卻有141人參與。第二年3月28日，立憲會議選舉普魯士國王為“德意志人的皇帝”，“小德意志方案”走向實踐。
／普魯士國王腓特烈·威廉四世像
理想狀態中，德意志各邦應全部歸屬于一個國家，由奧地利統一，即“大德意志方案”。然而經過數個世紀發展，奧地利已經占據巴爾干半島的諸多地區，容納許多民族，“大德意志方案”需要建立德意志民族國家，自然就要讓奧地利放棄這些少數民族聚集區，于是奧地利并不熱衷于德意志統一。德意志人對奧地利倍感失望，于是“小德意志方案”出現：以普魯士為核心統一其他德意志邦，再與奧地利結成邦聯——事實上將奧地利排除出德意志民族國家外。
當然在1848年革命中，普魯士國王還是拒絕了“德意志人的皇帝”稱號。畢竟法蘭克福立憲會議是革命人士自發成立，后來遭到普魯士與奧地利軍隊的威脅而解散，但“小德意志方案”設想卻激勵了普魯士。1849年8月，普魯士迅速與漢諾威、薩克森組成“三王同盟”，1850年3月吸引30多個德意志邦召開制憲會議，排斥奧地利，組建國家。只不過，奧地利不想放棄自身在德意志各邦的主導權，便聯合俄羅斯一同反對“小德意志方案”，普魯士只好解散制憲會議。
奧地利無意“大德意志方案”，普魯士放棄“小德意志方案”，于是兩邦在1851年5月恢復1848年以來停擺的德意志邦聯。由于普魯士保守派卷土重來，俾斯麥也獲得重用，成為德意志邦聯復活后第一位普魯士公使。
駐外公使屬于普魯士高級官僚行列，年薪一般為2.1萬塔勒，但俾斯麥一來，立刻無緣由地降為1.8萬塔勒，并要求俾斯麥自負租房費用。很明顯，鄉村容克俾斯麥搖身一變成為駐外公使，這讓普魯士文官階層大為不滿，自然在各方面給俾斯麥穿小鞋。
俾斯麥確實保持著許多鄉村容克的習慣。按照虔敬派的習慣，俾斯麥夫婦每天下午5點吃晚飯，這宣告著他們與貴族夜生活無緣。另外俾斯麥雖然懂得法語，但他的妻子從未邁出家鄉，終其一生也沒有學習法語，自然與法蘭克福的貴族圈子格格不入。
但這并不重要，因為俾斯麥早已攀上格拉赫兄弟的高枝。擔任公使期間，俾斯麥的所有外交報告都首先交給國王身邊的首席軍官——利奧波德·馮·格拉赫，然后再按照官方程序交給首相兼外交大臣。這種舉動明顯違反官僚體系的一般原則，但卻讓俾斯麥持續獲得宮廷的信任。
有了靠山，俾斯麥可以盡情在德意志邦聯耍性子。1852年3月，俾斯麥在邦聯會議期間抽煙，打破了邦聯會議的一條不成文規定：只有邦聯委員會主席兼奧地利公使有權在會議期間抽煙。俾斯麥一直實踐著自己在《新普魯士報》發表的主張：“普魯士必須處處取得與奧地利平等及優先于其他德意志邦的權利?！?/p>
也是在奧地利問題上，俾斯麥與普魯士保守派出現裂痕。在格拉赫兄弟看來，奧地利與俄羅斯是普魯士的天然盟友，起源于拿破侖戰爭時期的“神圣同盟”必須維系。但俾斯麥參加德意志邦聯會議期間，最大對手就是奧地利公使，雙方關系甚至惡化到互相人身攻擊，他于公于私都不把奧地利當作朋友。后來，俾斯麥拉攏中小邦，始終把奧地利排斥在普魯士領導的德意志關稅同盟之外，這就讓普魯士與德意志中小邦的經濟關系愈發緊密，而奧地利越來越像局外人，1866年普奧戰爭的成功也得益于此。
《克尼格雷茨戰役》，格奧爾格·布萊布特羅伊于1869年所作油畫。描繪了普奧戰爭的場景
即便當時，大局對于奧地利也愈發不妙。1853年俄羅斯與奧斯曼帝國爆發克里米亞戰爭，俄軍進駐多瑙河流域，威脅到奧地利的安全。戰爭中，奧地利反過來站在英法等“敵國”一邊，普魯士保守派也選擇支持奧地利。奧地利本身沒有足夠兵力進攻俄羅斯，于1855年1月提出申請，要求動員德意志邦聯一半軍隊對抗俄羅斯。原本這份提案可以通過，但俾斯麥卻巧妙改變文字，要求動員軍隊的目的從“對抗俄羅斯”修改為“對抗所有方向的危險”，那么德意志邦聯軍隊就不能單獨用于進攻俄羅斯，喪失出兵的法律基礎。由于德意志中小邦都不愿意與俄羅斯為敵，紛紛贊成俾斯麥提出的修改建議，俾斯麥領導中小邦反對奧地利的斗爭可謂初戰告捷。
奧地利失去俄羅斯的信任，又沒能與英法等國共同出兵，在歐陸政治中的地位緩緩下降；俄羅斯在1856年克里米亞戰敗后開始內政改革，無暇顧及普魯士，雙方再也無法阻止普魯士團結德意志中小邦實踐“小德意志方案”。
奧地利的勢力雖然衰弱下來，但俾斯麥很明白，只是擺脫奧地利本身并無法實現德國統一。除去維持與俄羅斯的關系之外，普魯士需要一個新盟友組建新的三國同盟，他瞄準拿破侖的侄子、法蘭西第二帝國皇帝拿破侖三世。1855年，他借助巴黎世博會的機會訪問法國，第一次見到拿破侖三世。
但與法國交往，也讓他與普魯士宮廷黨走向決裂。
