ब्राह्मणिक व्यवस्था में शूद्र सबसे निम्न स्तर पर समझे जाते थे। अन्य तीनों वर्षों की सेवा करना ही उनका कर्तव्य था। ब्राह्मणिक ग्रंथों के अलावा अन्य ग्रंथ बहुत से ऐसे गरीब और दलित समूहों की चर्चा करते हैं जो शूद्र कहे जाते थे। पाली साहित्य में बहुधा दास और कामगार (मज़दूरी पाने वाले) लोगों का विवरण आता है। दलित शब्द का प्रयोग ऐसे लोगों के लिए होता है जो बहुत गरीब थे और जिनके पास खाने के लिए या तन ढंकने के लिए कुछ नहीं होता था। इस तरह पहली बार हमें विलासिता में रहने वाले धनी और अत्यंत गरीब, दोनों के बारे में विवरण मिलता है। समाज के कुछ समूहों का अत्यंत गरीब होना तथा शूद्र वर्ण के अस्तित्व में आने का कारण शायद यह था कि समाज के धनी और शक्तिशाली वर्ग ने भूमि और अन्य संसाधनों पर अधिकार कर लिया था। सभी तरह के संसाधनों के अभाव में शूद्र वर्ग के लोग दूसरों की सेवा और धनी लोगों की भूमि पर काम करने के लिए मजबूर थे। सामान्यतः कारीगर और दस्तकार भी शूद्रों की श्रेणी में मान लिए जाते थे। अधिकतर धूर्मसूत्र शूद्रों के विभिन्न समूहों के उदय के लिए संकीर्ण जाति की परिकल्पना को उत्तरदायी मानते
हैं। इस संकल्पना के अनुसार अगर कोई अंतर्जातीय विवाह करेगा तो उसके वंशज निम्न जाति के होंगे। कर्मकाण्डों के लिये यह लोग सामाजिक व आर्थिक स्तर में किसानों, दासों और कारीगरों की तरह थे। वैदिक समाज के कुटुम्बीय संबंधों के अंत से यह वर्ण सबसे अधिक हानि में रहा।
समकालीन साहित्य में दासुद्धा का काफी विवरण मिलता है। यह ऐसे दास थे, जिनकी कोई वैधता नहीं थी। शूद्र मजदूर अधिकांशतया युद्धबंदी होते थे अथवा ऐसे लोग थे जो ऋण वापस नहीं कर पाते थे। घनी लोगों की भूमि पर उनसे जबरदस्ती काम कराया जाता था। ग्रामीण क्षेत्रों में दास, कर्मकार तथा कसक (कृषक) मज़दूरों के प्रमुख स्रोत थे। नगरों’ के अस्तित्व में ओने से अमीर और गरीब के बीच की खाई. और बढ़ गई।
उपरोक्त समूहों के अतिरिक्त बुद्ध के काल की सामाजिक श्रेणियों की सूची बहुत लम्बी है। घुमक्कड़ नाचने और गाने वाले, जो एक गांव से दूसरे गांव घूमते फिरते थे, अपनी कला का प्रदर्शन करते थे। इनके अतिरिक्त करतब और हाथ की सफाई दिखाने वाले, मसखरे, हाथी के करतब दिखाने वाले, सूत्रधार, सैनिक, लेखक, धनुर्धारी, शिकारी और नाई आदि कुछ ऐसे सामाजिक समूह हैं जिनके विषय में हमें जानकारी मिलती है। इनको समकालीन जातीय श्रेणियों में रख पाना कठिन है। शायद यह वर्ण व्यवस्था के बाहर थे। इनमें से अधिकतर कृषि पर आधारित नये समाज के प्रभाष क्षेत्र से बाहर थे। सामान्यतः उन्हें घृणा की दृष्टि से देखा जाता था। कभी-कभी यह समूह विद्रोह भी करते थे। जातक कथाओं में युद्धों के विवरण भरे पड़े हैं।
गरीब शूद्रों के शहर के बाहर निवास करने का विवरण मिलता है। इसका सीधा प्रभाव यह पड़ा कि छुआछूत अस्तित्व में आया। चाण्डाल अलग गांवों में रहते थे। उन्हें अत्यधिक अछूत माना जाता था। यहां तक कि एक सेठी की लड़की को चाण्डाल देखने पर अपनी आंखे घोनी पड़ी। इसी प्रकार एक ब्राह्मण इस बात से चिन्तित था कि चाण्डाल के शरीर को छूने वाली हवा अगर उसे छू गई तो वह (ब्राह्मण) अपवित्र हो जाएगा। चाण्डाल लोग केवल मरे हुए आदमी के शरीर से उतारे वस्त्र पहन सकते थे और टूटे हुए बर्तनों में खाना खा सकते थे। पुक्कुस, निषाद और वेन इसी प्रकार के अन्य घृणित समूहों में आते थे। राजा के शासक के रूप में रहने का समर्थन यह कहकर किया जाता था कि वह लूटमार करने वालों कबीलाइयों से जन-मानस की रक्षा करता था। यह वह पिछड़े हुए कबीले थे जो जंगलों में रहते थे और वहां से खदेड़े जाते थे। वे या तो दास बन जाते थे या डाकू। समकालीन साहित्य में डाकुओं के गांवों का भी वर्णन आता है।