善於騎射，兼通漢文、契丹文，堪稱文武全才，考中進士後，入翰林院供職，任翰林應奉，後被擢升為翰林承旨。
他是《遼史》中記載的遼朝唯一一個契丹族進士。因在契丹語中，翰林被稱為“林牙”，所以耶律大石又有“大石林牙”或“林牙大石”的別名，在遼國宗室不景氣的時代，他這位文武雙全的人才耶律大石直接被升為遼興軍節度使，鎮守南京道。
這期間其實他還是初出茅廬，但是在遼朝滅亡後，率領部分契丹人西征，建立起一個威震中亞的西遼帝國，將耶律氏的國祚又綿延了近百年。
可惜耶律大石生不逢時，此時的遼朝已至末路，在他中進士的第二年，女真人完顏阿骨打建立起金國，隨即就向遼國發起連續攻擊，遼朝的東京遼陽府、上京臨潢府、中京大定府、南京析津府在幾年的時間裡相繼陷落。
耶律大石看到遼朝大勢已去，於是率200契丹鐵騎，向西行去，在早年遼國曾在西北重鎮鎮州建立了一座可敦城，重振契丹雄威，他豎起了興復遼朝的大旗，並得到邊地各部的支援，召集到精兵萬餘人，自立為王。
此時的天祚帝還活著，因此，耶律大石還尊天祚帝為君主，他在可敦城休養生息，積蓄力量，一待就是五年。
只不過，天祚帝在1125年就被金國俘虜，被降為海濱王后，軟禁到長白山地區，四年後病逝。
耶律大石雖然立起了復國的大旗，但他很清楚，憑藉自己這點力量還不足以東征挑戰勢頭正旺的女真金國，他選擇繼續揮師西進。他決定去征服西方的土地和人口，壯大自己，實現“養兵待時而動”的戰略，最終實現復國的目的，耶律大石征服了西北突厥人後，修建城池，在群臣的擁立下登基稱帝，號“天佑皇帝”，建元“延慶”，依然以“遼”為國號，中原的史學家稱耶律大石建立的遼國為“西遼”。同時依據當地突厥人的習慣，他的突厥稱號叫“菊兒汗”，即“眾汗之汗”。
耶律大石的西遼，完全仿照中原王朝的建制設立各級官員，政治制度仍保持了遼王朝的傳統，且整個西遼的宮廷與官府，都通用契丹文和漢字，其錢幣上都印有漢文年號。
耶律大石治國有道，不斷擴大西遼的疆域，1137年，西遼軍隊和西喀喇王朝交戰，獲勝，同年又攻打高昌，回鶻王不再稱汗，改稱“亦都護”，至此西州回鶻王國成為西遼的屬國。
耶律大石最為著名的一戰，當屬率遼軍與西域聯軍在撒馬爾罕以北的卡特萬草原對峙，並於9月9日展開會戰，這就是中亞史上著名的“卡特萬之戰”。
此戰中，耶律大石以少勝多，擊敗10萬聯軍，伊斯蘭教第一次屈服於一個不信教的政權，卡特萬戰役後，塞爾柱帝國的勢力退出中亞，西遼王國成為中亞新的霸主。
卡特萬之戰，使西遼確立了在中亞穆斯林世界的統治，聲名威震亞歐。之後，西遼又向西北進攻花刺子模，花刺子模王阿提西茲投降，做了西遼屬國。
這一連串的勝利，使耶律大石迅速完成了稱霸中亞的偉業：北到巴爾喀什湖以北的巴哈台山，西達鹹海，東到新疆中部，西南界阿姆河，成為了整個中亞最強大的國家。
耶律大石的西征，上演了契丹皇族最後的榮耀，他建立的西遼，在亞歐大陸的歷史上產生了深遠的影響，以至於“契丹”一詞成了中亞各族用來稱呼中國的專用詞，這個名稱又經中亞傳到俄羅斯和歐洲，俄語和英語中的“中國”，都是契丹一詞的諧音。
他初出茅廬，採取分化離間計的手段先是分化了這叛軍內部的不同派系，然後以向起中之一送禮物的方法引起了其餘派系叛軍對其的懷疑，最終導致了自相殘殺，他坐收漁翁之利。
遼王耶律輝在得知自己宗室子弟裡面出來了這麼一個好人才之後，高興