耶律大石出走时，自立为王，设置北南面官属。他们一行二百人从夹山(今呼和浩特市西北的吴公坝以北地区)出发，北行三日过黑水(今蒙古国爱毕哈河或译为艾卜盖河)，遇到白鞑靼首领床古儿。床古儿献马四百匹，骆驼二十头，羊若干。耶律大石一行穿越沙漠，到达辽朝北疆重镇--西北路招讨司驻地可敦城。他立即召开七州、十八部的长官、首领和部众开会。他说：“我祖宗艰难创业，历世九主，历年二百，金以臣属，逼我国家，残我黎庶，屠翦我州邑，使我天祚皇帝蒙尘于外，日夜痛心疾首。我今仗义而西，欲借力诸番，翦我仇敌，复我疆字。惟尔众亦有轸我国家，忧我社稷，思共救君父，济生民于难者乎?”这是一篇极好的演说词，全文只有92字，先述辽朝历史，次讲目前局势，然后说明自己此来目的，最后发出号召，真正是言简意赅!激烈慷慨，伤国忧民，以天下为己任之情洋溢于纸上，八百年后之今日读之犹受其感染，可想见当日听众感动之状。史载，“遂得精兵万余，置官吏，立排甲，具器仗”;“松漠以北旧马，皆为大石林牙所有”，于是国家规模初具。
耶律大石在可敦城掌握实权后，并未像他在演说中所说的那样，出兵去“救君父、济生民”，而是贯彻他的既定方针，“养兵待时而动”。这里的地理条件对他们是有利的：有水草丰茂的牧场，广有牛羊，给人们提供了主要食品，同时又有一定的粮食作物，补给人们一些淀粉食品。这为耶律大石政权提供了相当的经济基础。其南部有宽阔的沙漠地带，穿越困难，成为自然防线，便于耶律大石政权休养生聚。在这期间，耶律大石积极展开外交活动，争取金国的敌国，同北宋、西夏都有联系。
耶律大石政权经过五年的休养生聚，实力已经相当强大，决定向外发展。为此耶律大石对周围做了调查研究，并进行过军事侦察。“翦我仇敌，复我疆宇”，重建大辽帝国，固然是他和臣下最向往的，也是最为神圣的事业，但是严酷的事实告诉他们此路不通：新兴的大金帝国处于全面上升时期，其实力大大超过他们。当时西域的情况则相反，高昌回鹘王国、喀喇汗王朝经过几个世纪的发展，已进入衰落时期，忙于内争，无力对外。于是耶律大石政权决定先向西发展，扩大领域，建立更为雄厚的物质基础，然后再来消灭金朝，光复旧物。
庚戌年(1130年)二月二十二日，耶律大石按照契丹族传统，杀青牛白马祭告天地、祖宗，整旅西行。他率军队进入叶尼塞河上游的吉利吉思地区，向这里的部族发动进攻，这些部族反过来也袭扰耶律大石的军队。耶律大石率军离开这里，向西征进，进入翼只水(今新疆额尔齐斯河)和也迷里河(今新疆额敏河)地区。
