杨大眼是武都氏族首领养难当的孙子，少年时期就勇气过人，跑步像飞一样快，但他是妾所生。所以不受重视，经常受冷挨饿。北魏孝文帝时期他开始做官，当时孝文帝打算以南伐为借口迁都，命令尚书李冲主持选拨军官。杨大眼前去应征，但没有被选中，杨大眼说；“尚书你不了解我，让我给你表演一下。”他拿出三丈多长的绳子绑住头发奔跑，绳子像射出去的箭一样笔直，马都追不上他，看的人没有一个不惊叹的。李冲说；“自古以来，没有一个人像他那样的，”就把他选为军主。杨大眼回头看着同伴说；“今天是我蛟龙得水的日子，以后我再也不会和你们同列了。”不久他又升为统军，跟随孝文帝南征北战，每次都勇冠全军。
杨大眼的妻子潘氏也善于骑马射箭，她常到军中看望丈夫。在战斗和打猎的时候，杨大眼让潘氏穿上军装，要么夫妻二人一起战斗，要么一起在森林里奔跑。等到回来的时候，两人一起坐在营帐里，在部下面前谈笑自如，杨大眼指着妻子对别人说；“这是潘将军”。
南朝萧衍派王茂先率领数万人马到樊城等地招揽人民，计划建立宛州，又命令他任命的宛州刺史雷豹狼、军主曹仲宗等率领两万人偷袭并占据了河南城。宣武帝任命杨大眼为武卫将军，统领各军讨伐并打败了王茂先等人。萧衍又派舅舅张惠绍暗中进据宿豫，北魏任命杨大眼为平东将军，打败了张惠绍。杨大眼乘胜追击，和元英一起围攻钟离。杨大眼驻军城东，守卫淮河桥，结果遇上河水暴涨，他手下的士兵争相逃跑，他不能阻止，只好也跟着逃跑。杨大眼因为逃跑而触犯军法，被流放到营州当了一个普通的士兵。
后来宣武帝回想起他的功劳，把他召回来用为代理中山内史。杨大眼回到洛阳的时候，人们想起他的英勇，又对他的起用感到高兴，来围观他的人像上市场赶集那么多。
杨大眼善于骑马，穿着盔甲在马上所向披靡，受到人们的赞扬。他抚慰士兵。称他们为儿子，看到有人受伤，常常为他们流泪。他虽然是将帅，但还是身先士卒，从来不畏惧冲锋陷阵，和他作战的敌人没有不被他击垮的。南朝前后派遣的军队往往还没渡江就被他吓跑了。据说在淮扬一带，人们吓唬啼哭的小孩都是哄他；“杨大眼来了！”小孩子没有一个不马上停止哭泣的。王肃的侄子王秉刚刚从南朝投降到北朝，对杨大眼说；在南方就听说你的大名，都说你眼睛有车轮那么大，现在见到后也和常人差不多啊。”杨大眼说；“两军对阵的时候，我双目怒视，足以让你们不敢看我，何必一定要大如车轮的眼睛？”当时的人都推崇他的勇猛，认为即使是关羽、张飞也不能超过他，但是在出征淮河的战斗中，他却喜怒无常，常常体罚士兵，将士们都有些怕他，有的人认为这是他性情改变而造成的。
杨大眼出任荆州刺史，常把草扎成人体的形状，给他穿上青布衣服，对着它射箭。把他蛮族首领找来让他看，指着草人对他们说；“你们如果想造反的话，我就用这种方法来除掉你们。”荆州曾经出现老虎伤人的事情，杨大眼和老虎搏斗并活捉了它，把虎头砍了下来悬挂在街市上。从此荆州的蛮族经常一起谈论；“杨工是粗暴凶狠的人，常常制作我们蛮人的形体加以射杀，而且就算是深山里的老虎也不能逃脱他的毒手。”由此再也不敢兴兵作乱。杨大眼在荆州任职两年后就死了。
杨大眼虽然没有读过书，也不识字，但他常常请别人读书给他听，他都能记住。他打胜仗后，命令别人写捷报，都是由他口授，然后别人记录下来，他有3个儿子，最大的一个叫杨甑生，次子杨领军，幼子杨征南，都是潘氏所生，他们继承了父亲的气魄和才能。
当初杨大眼被流放到营州的时候，他妻子潘氏耐不住寂寞，经常和人偷情。后来在中山的时候，杨大眼小妾生的女儿的丈夫赵延宝把这件丑事告诉了杨大眼，杨大眼知道后十分生气，把潘氏关了起来，最后把他杀了，之后杨大眼续娶了元氏作为继室，杨大眼快死的时候，杨甑生问元氏杨大眼的印绶在什么地方。当时元氏已经怀孕了，他指着自己的肚子对杨大眼的3个儿子说；“开国县子（杨大眼的封爵）的爵位应该由我的儿子继承，你们这些婢女生的儿子想都不要想！”杨甑生等人十分怨恨她。杨大眼死后，兄弟三人怕受到陷害，就在送杨大眼的灵柩进京时逃到襄阳，投奔了南朝梁武帝。