王濬，字士治，弘农郡湖县人，现在的河南灵宝人。出身于世代两千石的官员之家。岳父徐邈为曹魏重臣，官至光禄大夫，要升任三公之一的司空时，徐邈坚决辞让。
王濬的家世背景还是相当不错的，少年时博览典籍，并且容貌俊美。但王濬并不注意虚名，所以没有被乡里称道。后来才改变做人方式，传出了爽朗旷达，有大志的名声。王濬家里条件非常不错，在修建自己的宅第时，在门前开了一条十步宽的路。有人问他路修这么宽有什么用，王濬说：“我打算使这条路能够容纳长戟幡旗的仪仗。”
众人都取笑王濬，他说：“陈胜说过，燕雀哪能知道鸿鹄的大志呢？”
王濬长大后，被辟为河东郡从事，因为他为人严厉正直，一些素来不廉洁的官吏听说他到任，都望风离去。当时司隶校尉徐邈有个才貌都不错的女儿，估计眼光比较高一直都没嫁。徐邈就大会同僚佐吏，这也算是场相亲大会了。徐邈的女儿就在内观察，不出意外的看中了王濬，然后就告诉母亲，母亲与老头子一商量就将女儿嫁给了王濬。
至于受到重视，这还是在被羊祜发掘后的事。羊祜辟王濬参征南将军事，就像深交的朋友和多年的知己那样对待他。羊祜的侄子羊暨对他说：“王濬为人志向太高，奢侈不节制，不可以单独担当大事，对他应该有所抑制。”
不仅在战略，在选人用人方面羊祜的眼光也是长远的，他说：“王濬有大才，他的大志马上就可以实现，他这个人是可以任用的。”在羊祜的重用下，王濬又转任车骑将军从事中郎，有见识的人都认为羊祜是一位善于举荐贤才的人了。
后来，王濬开始入益州任职，起初任巴郡太守。那里因为与孙吴接壤，而百姓苦于战争和徭役所以生了男丁也不愿意养育。不知王濬用的什么办法能更改政策，他也不怕上级问责，不仅制定了严格的规定，还减轻徭役和税负，生育者还可以免除徭役，因此被保全的婴儿有数千。
王濬又转任广汉太守，深受百姓爱戴。因为益州牙门将张弘发动叛乱杀死益州刺史皇甫晏，就提拔王濬为益州刺史。王濬到任后很快平息叛乱将张弘杀死，因功封为关内侯，在任时广施仁政，树立威信，各族百姓前来归附。因为政绩突出，被任命为右卫将军、大司农。羊祜认为王濬奇略过人，就秘密上奏给司马炎仍让王濬留任益州刺史。羊祜还密令这位老下属修缮甲胄，训练军队，做好充分的准备，在荆州晋朝与孙吴接壤的边境地区，晋军的实力已经远远超过了吴军。
王濬还按照羊祜的策略，请示朝廷大量建造战船，训练水军。这让孙吴受到严重威胁，一些大臣深感忧虑。王濬是于274年被复任为益州刺史的，这一年陆抗也病重了。陆抗在病重期间还给孙皓上奏，陈说西陵这里的利害，应该实行仁治，强化西陵守备，用来应对变故，但是孙皓依然置之不理。这一年陆抗病逝，其军队由其五个儿子分领。孙吴最后的名将也去世了。
两年后，羊祜认为时机成熟，就写了《请伐吴疏》给司马炎，请求灭吴。奏疏得到了司马炎的肯定，但是朝中的其他大臣都对此表示反对，尤其是权臣贾充、荀勖、冯紞等人。他们提出西北的鲜卑未定，不应该两线作战，当时只有度支尚书杜预，中书令张华等少数人赞成羊祜的意见。
这个时候，正赶上晋军在秦州、凉州战败。晋初，晋在西县故地置始昌县。晋分雍州置秦州，上邽、始昌属秦州天水郡。秦州、天水郡治均设在上邽。羊祜于是再次上表：“孙吴平定，那么胡人自然安定，当前应该迅速完成灭吴的大业啊。”
但是依旧遭到大多数人的反对，羊祜感叹：“天下不如意的事总是十有七八，现在有些人当断不断，上天都给了却不取，怎么能不让以后的有识之士感到遗憾！”而羊祜的生命也正在倒计时。
羊祜在魏晋二朝任职，掌握国家机要。很多重大举措，都要向他咨询，而争权求利的事却与他无关。他所献的良策和正直的建议，事后都把稿子烧掉，所以世人很少知道。凡是他所荐拔的人，这些人都不知是谁推荐的。有人认为羊祜这样谨慎太过分了，羊祜解释说：“话怎能这样说呢，现在一般人在你跟前促膝谈心，像是很亲近，一出门就说假话坏话，所谓君臣之间不守密的训诫，我怕自己还没做到呢？身居要位而不荐拔贤才奇人，难道不在选人用人方面有愧吗？况且，被荐举的人在朝廷受职，却到荐拔者私门谢恩，这是我不愿意做的。”
公元278年八月，羊祜染病请求入朝。正赶上姐姐羊徽瑜逝世，他悲痛万分，病情更加严重。司马炎命羊祜抱病入见，并让他乘坐辇车上殿，不必跪拜，备受优礼。羊祜再一次向司马炎陈述了伐吴的主张。后来，羊祜病势加重，已不能入朝，司马炎专门派中书令张华前去咨询方略，羊祜对张华说：“陛下有受禅让的美名，但功德尚未着称于世，吴人暴政已到极点，此时伐吴可不战而胜。统一天下而兴办文教，则晋主可比尧舜，而臣下犹如稷契（代指贤能群体），这是百代难逢的盛事。如果错过这个机会，或孙皓死去，那么吴人另立英明君主，即使百万大军，长江是难以越过的，这不是留下后患吗？”
张华非常赞赏羊祜的主张。羊祜又对张华说：“能实现我这个愿望的还是你啊！”
司马炎打算让羊祜抱病统领征吴诸将，羊祜说：“取吴不必我亲自参加，但平吴之后还要圣上费心治理啊！关于功名的事，臣不敢自居。如果我的生命即将完结，那么应该将未成事业托付他人，希望能审慎选出这个人。”
羊祜临终前，又向司马炎推荐了代替自己能够实现伐吴大业的人选。