项羽接获各地不利的情报后，心中大为恐慌，乃火速向东撤军，于十二月左右进入垓下。
由于彭城的后退之路已为彭越截断，楚军能退到垓下，而不在中途受在袭击已属不幸中之大幸。
垓下在今日的安徽省淮水北岸之地，有不少河流流经该地，形成了不少河沟及岩壁，十分有利于建构防御工事。
项羽这时不得不靠地利来防守了。
一向擅长会战的项羽，这次竟然主动放弃此一机会，看来项羽的确到达穷途末路了。
垓下虽有少许食粮，但根本用不到数月，与彭城间的交通又完全断绝，因此项羽的主力部队已成了被重重围困、完全没有外援的孤军。
由于粮食的确不足，外围的楚军逐渐溃败，有的甚至难忍饥饿地向汉军投降。
垓下大战，项羽首尝战术溃败
十二月中，汉军主力和各诸侯部队全部到达垓下。
韩信亲率齐军三十万为先头部队，寥侯孔熙在左、费侯陈贺在右，刘邦也率主力部队紧随其后，周勃和柴将军则追随在刘邦之后。
一行浩浩荡荡地直奔垓下。
项羽亲率主力部队十万兵马，出城准备给汉军迎头痛击。
这场会战，汉军阵营由韩信亲任总指挥。
这也是两位当代军事奇才，首度也是最后一次的面对面决战。
项羽仍展现他野兽般的猛勇，亲率骑兵队在前面衝刺。
韩信则仍以智略见称，他的战场都是经过精密设计的。
刚接触不久，韩信便下令撤退，他不愿军士在楚军的死战下损伤太多。
项羽仍采猛烈攻势，以打击汉军士气。
但孔熙和陈贺军队却由两侧绝断楚军退路，让楚军陷入前后夹击中。
项羽方反身迎战左右两军，韩信主力却又回头再击楚军，项羽只得在腹背受敌的情况下疲于奔命。双方混战了半日，楚军因饥饿而不耐久战，加上敌众我寡、死伤惨重，项羽只得再度退入垓下而闭城坚守。
刘邦率诸侯军将垓下团团围住。
经过一天苦战，项羽身心俱疲，不及解下盔甲便倒在营帐中小憩，虞美人则在身旁照顾。
一觉醒来，已是深夜，万籁俱寂。
远处却传来楚人的歌声，渐渐地四方都响应了起来。
垓下城中的楚军都跑到外面来听这熟悉的歌声。
这不正是楚地的歌谣吗？楚军纷纷兴起了怀乡情结，想到自己或许即将孤独地客死他乡，更念及家中的父母妻儿，不禁悲从中来地掩面痛哭。
惊醒后的项羽睡意全消，立刻起身喃喃自语道：
「难道汉军已经完全占领楚国了吗？为何汉营中会有这么多楚人呢？」
嘆息中，项羽坚强的意志慢慢地消失了。
这便是历史上所谓的「四面楚歌」！
的确有不少楚军已被汉军捕获或主动投降了，但人数还不致太多。
这显然是张良和陈平有意的设计，让营中楚军教汉营军队和诸侯部队练唱楚歌，利用大合唱的声势，加上由远处传来的几可乱真效果，彻底打击垓下守军的士气。
这一招果然非常成功，连项羽都深受感染而沮丧不已。
虞兮虞兮奈若何
最后时刻已到，项羽决定死得像个英雄。
他起身穿上全副武装。下令在营帐内设酒宴，并由虞美人作陪。
马夫也将骏马名骓牵到帐营前。
由军中精选出的八百敢死骑兵队，准备冒死突围。
这是最后的酒宴。
项羽嘱咐部属，他突围而出后将展开壮烈的生死决战，其后垓下的楚军便可向汉军投降，以免不必要的死伤。
他要求虞美人和所有重要将领不可轻言赴死，必须在楚国灭亡后尽力保护自己的族人。
他相信刘邦和韩信都是楚人，应不致给楚人太大的难堪。
说罢，项羽起身，慷慨悲歌：
力拔山兮气盖世
时不利兮骓不逝
骓不逝兮可奈何
虞兮虞兮奈若何
这阙歌曲便是项羽的最后遗言了。
我的力量可以撼动山河，我的气势更是举世无匹！
但是时局却对我大不利，使得我的武运无法发挥！
武运无法发挥，名骓失去雄姿，真是令人遗憾啊！
虞姬啊虞姬，我们这下分离，是无可奈何的千古遗恨啊！
项羽高歌时，虞美人也起身和歌。
《楚汉春秋》记载，虞美人之对歌如下：
汉兵已略地
四方楚歌声
大王意气尽
贱妾何聊生
《史记》和《资治通鑑》虽未明载虞美人下落，但依此歌词之意来看，虞姬其实已清楚表示自己将要殉身以明志。《项羽本纪》中记载：
「歌数阙，美人和之，项王泣数行下，左右皆泣，莫能仰视。」于是这一场最后的酒宴，就在悲歌与泪水中落幕了。
项羽的最后奋战
项羽即刻上马，率领着骑兵敢死队八百人，在夜色掩护下由小路突围而出，然后如烈火般突袭汉营守卫，全队向南奔驰而去。
项羽并不打算逃走，只是由于军队太少，他必须选择一个较有利的战场来和汉军决战，以突显其最后的武勇。
天将明时，巡迴队发现项羽已突围，立刻向刘邦报告。