Digital Diglossia: A Study of the Possibility of Reproducing Linguistic Hegemony in Hindi LLM Development

डिजिटल डायग्लॉसिया : हिन्दी एलएलएम(LLM) निर्माण में भाषिक हेजेमनी प्रजनन संभावना का अध्ययन

Abstract

This study critically examines the interplay between the diglossic structure of the Hindi-speaking society and the development of AI-based language models — particularly Large Language Models (LLMs). It investigates the pre-existing linguistic imbalance between ‘high’ and ‘low’ forms of Hindi (standard vs. colloquial/local variants), as well as between English and indigenous languages. The research argues that the processes involved in LLM development — such as corpus selection, tokenization, and training — do not merely reflect these disparities but also reinforce them technically. The main research questions explored include:(1) At which stages do the construction of Hindi LLMs reproduce linguistic hegemony? (2) How does the quality of LLM outputs vary across English, standard Hindi, and colloquial Hindi? (3) How do these disparities contribute to the marginalization of Dalit, feminist, and regional knowledge systems? The theoretical framework is grounded in critical applied linguistics, Bourdieu’s theory of linguistic capital, and recent debates around algorithmic bias. Methodologically, the study employs comparative corpus analysis, evaluation of LLM responses, and expert interviews. Ultimately, this research calls for a reimagination of ‘linguistic justice’ within AI.

 Abstract in Hindi Language: यह अध्ययन हिन्दी समाज की द्वैत्तभाषिक (डाएग्लॉसिक) संरचना और कृत्रिम बुद्धिमत्ता (AI) आधारित भाषा मॉडल — विशेषकर LLM (Large Language Models) — के आपसी संबंधों की आलोचनात्मक पड़ताल करता है। हिन्दी में 'उच्च' बनाम 'निम्न' भाषा रूप (शुद्ध हिन्दी बनाम बोलचाल की लोक हिन्दी), और अंग्रेज़ी बनाम देसी भाषाओं के मध्य जो भाषिक असंतुलन पहले से मौजूद है, यह शोध यह स्थापित करता है कि LLM विकास की प्रक्रिया — जैसे कोर्पस चयन, टोकनाइज़ेशन व प्रशिक्षण — इन असमानताओं को मात्र प्रतिबिंबित नहीं करती, बल्कि तकनीकी रूप में और अधिक सुदृढ़ करती है।मुख्य अनुसंधान प्रश्नों में यह विश्लेषण शामिल है कि: (1) हिन्दी LLM निर्माण किन स्तरों पर भाषिक वर्चस्व को पुनःस्थापित करता है? (2) अंग्रेज़ी, मानक हिन्दी और लोक हिन्दी में LLM प्रतिक्रियाओं की गुणवत्ता में क्या भिन्नता है? (3) इन अंतरविरोधों के कारण दलित-स्त्री-क्षेत्रीय ज्ञान परंपराओं का क्या ह्रास हो रहा है? अध्ययन का सैद्धांतिक आधार आलोचनात्मक अनुप्रयुक्त भाषाविज्ञान, बोरदियू का 'भाषाई पूंजी' सिद्धांत और एल्गोरिद्मिक पूर्वग्रह संबंधी नवीन विमर्श है। पद्धति में तुलनात्मक कोर्पस विश्लेषण, LLM प्रतिक्रियाओं का मूल्यांकन, तथा विशेषज्ञ साक्षात्कार सम्मिलित हैं। निष्कर्षतः, यह शोध AI में 'भाषिक न्याय' की पुनःकल्पना का आह्वान करता है।

Keywords: डाएग्लॉसिया, भाषिक पूंजी, कृत्रिम बुद्धिमत्ता, एल्गोरिद्मिक पूर्वग्रह, हिंदी LLM