“五陵”一词出自汉代，汉代几位皇帝在长安附近修建了几座陵邑，并大量迁入人口，使得五陵逐渐变成贵族的聚居地，“五陵少年”一词也成了纨绔子弟的代称。唐诗中常有以汉代唐的手法，因此“五陵少年”一词常出现在都市咏侠诗当中，借指唐代的贵族子弟。这批贵族游侠家世不凡，出手阔绰，从诗中对他们的形象描写便可看出这一点。
秦汉以来，中国的统治势力稳固地集中在贵族大家的手中，只有到改朝换代之时才会有大的变迁。直到宋代，这种势力集中在豪门士族的情况才逐渐被依靠科举上位的士绅阶层掌握朝政大权的情形取代。所以，唐及唐之前的史料对人物的描述都极为重视这个人的宗族关系。在介绍人物的背景时，史书格外热衷强调他们的宗族发源地。即便不是汉人出身，史书同样会以汉人的方式记录相关人物的家族背景。如有鲜卑背景，名列凌烟阁二十四功臣之一的屈突通，《新唐书》中对他的记载是“其先盖昌黎徒何人，后家长安”。这些胡人贵族，除了会把胡人地区的风俗习惯带入中原地区，自身掌握的权力更能自上而下地将少数民族的行为风俗推广至民间，进一步强化民间好武的社会风气。
唐代好武重侠的风气让不少贵族少年沾染上侠的色彩，同时也让本身具备侠气的人聚集在这批贵族的身边。《新唐书》中有段关于皇室贵族的描写：“隐太子建成小字毗沙门。资简弛，不治常检，荒色嗜酒，畋猎无度，所从皆博徒大侠。”阴说秦王共大计的唐俭，祖上由北齐开始便是高官，自身“爽迈少绳检”，他的弟弟唐宪，“不治细行，好驰猎，藏亡命，所交皆博徒轻侠”。这些关于李建成与唐宪的负面评价，与游侠的负面行径相关。唐代高级官员也有“曾游游侠场”、“摇情游侠窟”之类的诗句传世，可见游侠气息对当时王公贵族的渗透。由于贵族阶层对政局的掌握，加上这批人本身好武，手下又有一班游侠能为自己出力，初盛唐的这类五陵少年，虽也有豪奢行为的表现，但是整体而言还是较为积极向上，也能为朝廷贡献自身力量，巩固国家政权的同时，也是对自己宗族势力的一种维护。唐宪虽说“不治细行”，但参加义军打拼天下，一路加官晋爵，“终金紫光禄大夫”。贵族少年与博徒大侠之间相互影响，贵族少年加强了自身好武放纵的一面，而博徒大侠们也放大了自身轻财狂欢的性格。这一共存关系不仅使游侠集中于繁华都市之中，还为晚唐时期大批家养刺客的出现奠定了社会基础。