在美国，出洋预习班的同学们目睹了西方科学技术的巨大成就，对中国的前途产生悲观情绪，詹天佑却坚定地说：“今后，中国也要有火车、轮船。”他怀着为祖国富强而努力的信念，刻苦学习，于1876年考入耶鲁大学土木工程系，专攻铁路工程。1881年，他在毕业考试中名列第一。之后，他谢绝了美国老师的挽留，毅然回到了贫弱的祖国。
回国后，詹天佑怀着满腔热情准备把学到的本领贡献给祖国的铁路事业。但是，他竟被阴错阳差地派遣到福建水师学堂学习海船驾驶。1882年11月，詹天佑被派往旗舰“扬武号”任驾驶官，参加了中法战争。战斗期间，詹天佑冒着猛烈的炮火，沉着指挥“扬武号”左突右冲，避开敌方炮火，抓住战机以尾炮击中法军旗舰“伏尔他号”，使法军司令孤拔险些毙命。同时，他在紧要关头从水中救起多人。
后来，詹天佑几经周折，转入中国铁路公司担任工程师，从此献身中国铁路事业。
刚上任不久，詹天佑就遇到严峻考验。当时的滦河铁路桥方案经英、日、德三国工程师先后设计，均告失败。詹天佑认真总结了三国工程师失败的原因之后，亲临一线与工人们一起进行实地调查，精密测量。经过仔细比较，他最后确定了桥墩的位置，并且大胆采用新方法——“压气沉箱法”完成了桥墩的施工。詹天佑的建桥方案果然成功了。