家居了很久，孝景帝死了，武帝即位，皇帝身邊的親信認為李廣是名將，因此，李廣從上郡太守的職位調到朝廷做了未央宮衛尉，程不識也被任命為長樂宮衛尉。程不識過去與李廣都以邊郡太守的職銜率領軍隊駐守邊防。到了進擊匈奴的時候，李廣行軍沒有(嚴格的)部隊編制和行列陣勢，靠攏水草好的地方駐扎，停宿休息時，人人自便，不用敲擊刁斗巡更的哨兵，其司令部沒有繁雜的文書報表，然也把哨兵遠遠地派出去，從沒有遇到過禍患。程不識嚴格地管理部隊的行軍、駐營、列陣，敲擊刁斗巡查，軍中辦公的官員治理文牘一直到天亮，軍中不得休息，然而也未曾遇到禍患。程不識說：“李廣治軍十分簡單省事。但是如果敵人倉猝之間來侵犯，他是無法阻擋的。可是他的戰士也安逸快樂，都心甘情愿地為他去死。我軍雖然治軍繁瑣苛細，但是敵人也不能侵犯我。”這時，漢朝邊郡上，李廣和程不識都是名將，然而匈奴懼怕李廣的謀略，士兵也多樂意跟隨李廣而以跟從程不識為苦。程不識在孝景帝的時候，因為屢次直言敢諫，做了太中大夫，為人正直，謹守法度。

　　后來，漢朝用馬邑城引誘單于，派大軍埋伏在馬邑旁邊的山谷中，李廣被任命為驍騎將軍;隸屬于護國將軍韓安國。當時單于發覺了漢朝的謀略，率軍離去，漢朝的軍隊全都沒有立功。

　　這之后過了四年，李廣憑著衛尉的身份做了將軍，由山西雁門關出發攻打匈奴，匈奴的兵多，打敗了李廣的軍隊，活捉了李廣。單于平素聽說李廣有才能，下命令說：“抓到李廣必須活著送來。”匈奴的騎兵抓住了李廣，李廣當時受傷很重，他們把李廣放在兩馬中間結個大網兜，讓李廣躺臥在里面。走了十幾里，李廣裝死，斜眼看見旁邊有一匈奴少年騎著一匹好馬，李廣突然躍起竄上那匈奴少年的馬背，順勢推落了少年，取過他的弓，鞭馬向南飛奔幾十里，又重新匯合他散余的軍隊，于是帶領他們進入邊關。匈奴有數百騎兵追捕李廣，李廣邊跑邊取出那少年的弓，射殺追兵，因為這個緣故才得以脫身。于是回到漢朝，漢朝廷把李廣下交給執法官吏審理，執法官吏判決李廣的軍隊損失傷亡眾多，自己又被敵人活捉，判處斬首，李廣出錢贖罪，得免予死罪，降為平民。

　　接著，李廣在家住了幾年。李廣家和原穎陰侯的孫子隱居山野，住在藍田南山中射箭、打獵。曾在夜里帶著一名隨從騎馬出游，跟人在田野間喝酒。回到霸陵的驛亭時，霸陵尉官喝醉了，吆喝著阻止李廣。李廣的隨從說：“這是前任李將軍。”尉官說：“現任將軍尚且不能夜行，何況是前任呢!”阻止李廣，讓他在亭中過夜。過不多時，匈奴人殺死了遼西太守，打敗了韓將軍，后來韓將軍遷徙到右北平郡。于是天子就召令李廣，任命他為右北平太守。李廣立即請求朝廷派那個霸陵尉跟隨他一起到右北平去，到了軍中就把他殺了。

　　李廣在右北平，匈奴聽說了，稱他為“漢朝的飛將軍”，避開他好幾年，不敢入侵右北平。

　　李廣出外打獵，見草中一塊石頭，以為是老虎而用箭射它，射中石頭，箭頭全部陷入石中。仔細一看，原來是石頭。于是再重新射它，卻始終不能再射進石頭里去了。李廣住過的郡，聽說有虎，也曾親自射獵。住在右北平時，有一次去射虎，老虎跳起傷了他。他也終于射死了老虎。

　　李廣為人廉潔，得到賞賜總是分給他的部下，飲食起居都與士兵一樣。李廣一生，直到他死，擔任年俸二千石的官職有四十多年，家里沒有多余的財產，始終不談家產的事情。李廣身材高大，手臂像猿一樣。他擅長射箭也是天生的，他的子孫或別人向他學，沒有人能趕得上他。他不善言辭，話也不多，與人閑居，就在地上畫軍陣，畫出闊狹相間的行列代替軍隊的陣勢，以射中闊或狹來判定勝負，決定由誰飲酒。專門以射箭為游戲，直到死都是這樣。李廣帶兵，到了缺糧缺水的地方，見到水，士兵不喝過，李廣不走近水邊，士兵不全部進食，他不嘗一口。(他對士兵)寬厚和藹而不苛刻，士兵都因此樂于為他所用。他射箭時，見敵人逼近，不到幾十步以內，估計射不中就不放箭，一發弓，敵人就應弦聲而倒下。因此，他帶兵多次被困受辱，他射猛獸時也曾被猛獸所傷害。

　　過了不久，石建死了。于是皇帝下詔書令李廣代替石建為郎中令。元朔六年，李廣又做了后將軍，跟從大將軍衛青的軍隊，從定襄出發攻打匈奴。軍中的將領有很多因為斬殺敵人的首級，俘獲敵人的人數達到朝廷行賞的標準，憑著軍功封為侯爵，然李廣的軍隊沒有軍功。

　　這之后過了二年，李廣以郎中令的身份率四千騎兵出發攻打匈奴。博望侯張騫率領一萬騎兵跟他一同出發，分道進軍。大約行軍了幾百里，匈奴左賢主率領四萬騎兵包圍了李廣。李廣軍中的士兵都很恐慌。李廣于是他的兒子李敢前往沖擊敵人。李敢只帶了幾十個騎兵，直穿匈奴陣地，從其左右又返回來，并且告訴大家：“匈奴容易對付罷了!”軍士們才安定下來。李廣把部隊排成圓形的陣勢，所有的人面朝匈奴射擊。匈奴的箭就像下雨般地射來。漢軍的戰士死亡大半，漢軍的箭也將要射完了。李廣令士兵拉滿弓而不發射，而李廣親自用大黃強弩射殺匈奴的副將，使得匈奴的氣勢懈怠。這時正趕上日落，漢軍的官兵全都面無人色。李廣卻神色如前，整頓軍隊。李廣軍中的人打這以后更佩服他的英勇。第二天，又開戰，_博望侯的軍隊也趕來了，匈奴的軍隊這才解圍離去。漢軍疲憊，不能追擊。

　　這時李廣的軍隊幾乎全軍覆沒，收兵回朝。博望侯因滯留延誤而未能在規定日期到達，判處死刑，他出錢贖買，兔去死刑，降為百姓。李廣所立的軍功與應得的罰相抵，所以沒有受賞。

　　當初;李廣的堂弟李蔡跟李廣一起侍奉孝文帝。到了景帝時，李蔡積累功勞做到二千石的官。孝武帝時又做了諸侯國代國的國相。在元朔五年作為輕車將軍，跟從大將軍出擊右賢王;有功，符合國家行賞的標準，封為了樂安侯。元狩二年中，代替公孫弘做了丞相;李蔡的為人在下等里的中等，名聲在李廣之下太遠了。然而李廣卻得不到封邑，官位也只不過在九卿之列。而李蔡封侯，高官到三公。李廣的部下都有的封侯了。李廣曾跟善于望氣以測知兇吉的王朔私下說：“自從漢朝抗擊匈奴以來，我李廣沒有一次不在其中。然而許多校尉以下的官員，才能算不上中等人，都因抗擊匈奴立功而得以封侯的有幾十人。而我李廣不在人后，竟然沒有一點功勞而得到封邑，這原因是什么呢?難道是我的相貌不應當封侯嗎?還是本來命中注定的?”王朔說：“將軍你自己想想，難道你曾有作過什么遺憾的事么?”李廣回答：“我過去做隴西太守時候，羌族人曾起兵反漢，我誘使他們投降，投降的人八百多人，我假裝同意他們投降，當天就把他們都殺了，到今天為止，最大的遺憾只此一件!”王朔說：“災禍沒有比殺戮已經投降的人更大的了，這就是將軍您為什么得不到封侯的原因啊!”

　　此后二年，大將軍(衛青)及驃騎將軍(霍去病)出兵抗擊匈奴。李廣屢次親自請求隨行參戰。漢武帝以李廣年老為由，不允許。過了好久，才答應了，讓李廣擔任為前將軍。這一年正是元狩四年。

　　李廣跟隨大將軍衛青出擊匈奴，出了關塞以后，衛青捕到了一個俘虜，得知了單于的住處，就親自率領精兵去追單于，卻命令李廣的軍隊合并到右將軍的部隊中去，從東路出擊。東路稍繞遠，而衛青大部隊的行軍路上，因為水草很少，不便屯扎宿營。李廣親自請求說：“我的職務本來是前將軍，如今大將軍竟下命令調我從東道出兵。況且我從年輕束發時就一直與匈奴作戰，今天才得到一個與單于對戰的機會，我愿意擔當先鋒，先跟單于拼一死戰。”大將軍衛青私下里受到皇帝的告誡，認為李廣年紀已老，命不好，不要讓他跟單于對戰，恐怕達不到預期的目的，而這時公孫敖剛剛失掉封侯，擔任中將軍，跟隨大將軍(出擊匈奴)，大將軍想讓公孫敖跟自己一起與單于對戰，所以調開了前將軍李廣。李廣當時也知道內情，因此，堅決地向大將軍辭命不受。大將軍不聽，命令長史寫道軍令，封好送到李廣的軍部，說：“趕到右將軍的軍部去，照文書上所說的辦。”李廣沒有向大將軍衛青辭行就起程了，心里特別生氣地來到軍部，率領軍隊與右將軍趙食其會師從東道出發。軍隊里沒有向導，迷失了道路，耽誤了與大將軍會師的約期。大將軍與單于交戰，單于逃跑了，未能抓獲他，只得回軍。回師向南，橫穿沙漠，遇到了前將軍(李廣)和右將軍(趙食其)。李廣見過大將軍，就回到自己的軍中。大將軍派長史拿著酒飯饋贈李廣，借機詢問李廣和趙食其迷失道路的情況，準備上書報告天子軍事詳情。李廣不予回答。大將軍又派長史馬上督責李廣的僚屬前去對質聽審。李廣說：“眾校尉沒有過錯，是我自己迷失了道路，我現在就親自到衛青的軍部上報軍情。”李廣對他的部下說：“我從年輕的時候開始，跟匈奴打了大大小小七十多回仗，而今很幸運跟從大將軍出征，有了跟單于交戰的機會。然而在將軍又調開了我的部隊，(從東路出擊)行軍繞遠，而且又迷失了道路，這難道不是天意嗎?況且我李廣的年齡已六十多了，終究不能再去對答那些執法法官的審問了。”說完就抽出刀來自殺了。李廣軍中的軍官、大夫等全軍上下都痛哭失聲。老百姓聽說了這件事，無論認識他的還是不認識他的，也不論年老的還是年少的，都為他流了淚。而右將軍趙食其被單獨交給了執法官吏，罪當處死，他出錢贖罪，被降為平民。

　　太史公司馬遷說：“《論語》上說：”(為官的人)本身行得正，即使沒有命令人們也會跟你去做;為官的人本身不正，即使有命令，人們也不會聽從。‘“這話正是說的李將軍吧!我看那李將軍，實在憨厚得像個鄉下人，嘴不善于說話，等到他死的那天，天下人無論是認識他的還是不認識他的，都為他的死感到極度的悲哀，他那忠實的心，真是被士大夫所信任啊!諺語說：”桃樹和李樹雖不會說話，但樹下自然被踏出一條道，這話說的雖然是小事，但是卻可以比喻李廣偉大的人格啊。