自此瑞麟更加勤勉用心，他的官运也自此一发而不可收，转年晋升太常寺少卿，再转年又升迁内阁学士礼部侍郎。就这样两三年的光景，瑞麟就由不起眼儿的九品礼赞郎高升成副部级朝廷要员了。面对瑞麟的火箭式蹿升，太常寺的同人打趣：“十年寒窗苦，不及一声号。”不过细究其升迁，瑞麟既没送钱跑官也没钻营巴结，更没踩人肩膀伤及同僚，有点天上掉馅饼偏往他脑袋上砸似的。
咸丰初年，慈禧尚未进宫时，瑞麟即已供职军机处成“军机大臣上行走”了，同为“军机大臣上行走”的还有恭亲王奕。当时，正牌的军机大臣是祁高藻、彭蕴章、邵灿和穆荫，然后则是两位“军机大臣上行走”，即恭亲王奕和礼部侍郎瑞麟。军机大臣面圣要排列有序鱼贯出入，进殿时由末位军机挑帘，众军机进入后才能进入，离去时仍由末位军机挑帘，依次退出，待自己也出来后再撂帘。因为冬有棉帘、夏有竹帘、春秋有布帘，所以但逢面圣便如此，而瑞麟在军机大臣末位上任职不短，再加上瑞麟天生好脾气，相熟人等打趣他是“挑帘子军机”。后来传开了，他便有了“挑帘子军机”的绰号。还有一种说法，说瑞麟自进军机处，从来寡言慎行无一建树，徒拥军机的虚名而已，那几位正牌军机大臣瞧他不起，故而讥讽他是“挑帘子军机”。两种说法不同，但不管哪种说法是真，他落下个“挑帘子军机”的绰号一点不假。
其实，瑞麟也并非庸才，在攻打太平军时竭尽全力斩获颇多，太平军著名将领林凤祥就折在他手里，他也由此加都统衔授封西安将军。要不然他也不会官居一品，又入军机，又成封疆大吏。
同治初年，闭门思过的军机大臣瑞麟外放两广总督。刚一到任，正赶上米价飞涨民心躁动，巡抚、知府等众官员齐聚总督府商讨应对之策。瑞麟危襟端坐垂问下属：“米价何以上涨？尔等知其缘由否？”相关下属答曰：“市侩居奇。”瑞麟听罢愣了愣神，紧接着又问：“四怪！何许人也？”此一问令下属瞠目结舌不知如何作答，若回复说并非“四怪”而是“市侩”吧，将置总督于尴尬境地，自己的前途毁于一旦，于是低头不语做沉思状。瑞麟见状并不催促，反倒宽慰下属：“莫慌、莫慌，待查明报来便可。”在座众官员哭笑不得纷纷侧目，巡抚出言圆场：“细查、细查，侍查实再报。”
几天后待瑞麟追问时，下属禀报：“广州百姓将奸商唤做‘四怪’，意思是那些奸商如同市井流氓。”瑞麟闻之点头道：“原来如此，原来如此。”还吩咐：“对‘四怪’务必要好好管一管。”事后，瑞麟成了两广官员茶余饭后的笑柄，不过在瑞麟离任回京时，众官员又都多有失落，说这位封疆大吏尽管耳朵不太好使，见识也不太高明，但却不贪婪、不刻薄、不耍大牌极好相与，是个不错的上司。
多少沾了点儿慈禧的光
咸丰朝，瑞麟还放过外任，任直隶总督。其时，惠亲王绵愉上折，奏请天津塘沽务必屯兵驻防，以防洋人海上进犯。咸丰准奏，命僧格林沁与直隶总督瑞麟前往勘察，全权督办。勤勉实干是瑞麟的长项，数月之内便大炮到位长堤筑成。转年，这海防工程还真发挥了作用，重创英国舰船，为咸丰挣足了面子。朝廷论功行赏，僧格林沁为首，瑞麟亦获嘉勉。可咸丰十年时，曾经威名远播的海防如枯木一般，片刻间就被英法联军摧毁了。朝廷急调僧格林沁率3万大军镇守京东八里桥，胜保和瑞麟也是奉旨扼守八里桥的倚重大臣。
