乐府是自秦代以来朝廷设立的管理音乐的官署。到汉时一直沿用了秦时的名称。元鼎五年（前112 年），汉王朝在汉武帝时正式设立乐府，它的职责是采集汉族民间歌谣或文人的诗来配乐，以备朝廷祭祀或宴会时演奏之用。它搜集整理的诗歌，后世就叫“乐府诗”，或简称“乐府”。它是继《诗经》《楚辞》而起的一种新诗体。
乐府在西汉哀帝之前是朝廷常设的音乐管理部门，行政长官是乐府令，隶属于少府，是少府所管辖的十六令丞之一。西汉朝廷负责管理音乐的还有太乐令，隶属于奉常。
汉武帝时，乐府令下设三丞。又根据《汉书·礼乐志》所言，至汉成帝末年，乐府人员多达八百多人，成为一个规模庞大的音乐机构。汉武帝到汉成帝期间的一百多年，是乐府的昌盛期。
汉武帝不仅创设了乐府这个管理音乐的专门机构，还设置了专管音乐事务的官吏，任命著名的音乐家李延年为协律都尉。李延年是中山人，出身倡家，父母兄弟姐妹都通晓音乐，都是以乐舞为职业的艺人。
他“性知音，善歌舞”，年轻时因犯法而被处腐刑，因而歌声愈加好听、容貌更显俊美。他在宫里主管皇帝猎犬的地方做事。
汉武帝知道李延年出身音乐舞蹈世家，对这个刑余之人倒也蛮喜欢。李延年也曲意奉迎，以讨得汉武帝的欢心。后来，汉武帝把李延年的妹妹纳为妃子，李夫人生下了昌邑王刘髆，李延年也因此被封“协律都尉”，负责管理皇宫的乐器，极得汉武帝宠爱。
当时，还有音乐家张仲春协助李延年管理音乐事务，有丘仲造笛，作为协律的乐器。每当汉武帝读到自己喜欢的辞赋时，就叫李延年配上乐谱，“以合八音之调”。李延年也承意谱写了许多“新声曲”。汉代著名的《郊祀歌》19 章，就是由李延年谱曲而流传下来的。