दुभती जनावरे आणि मेंढीपालन करणा-याकरणाऱ्या भटक्या धनगर समाजातील खंडूजी वीरकर चौगुला यांच्या घरात मुलगा जन्माला आला आणि त्याचे नामकरण मल्हार करण्यात आले. त्यावेळी धनगरी तांडा होळ मुक्कामी होता, "मुलाचे पाय पाळण्यात दिसतात" या उक्तीप्रमाणेच छोटा मल्हार तांड्यातील मुलांबरोबर खेळताना आपले गुण दाखवू लागला. मल्हार लहान असतानाच खंडूजीचा मृत्यू झाला आणि मल्हार व त्याच्या आईवर भाऊबंदांचा जाच वाढू लागला, म्हणून दोघांनी सुलतानपूर परगण्यातील तळोदे येथे भोजराज बारगळ या मामाकडे आश्रय घेतला. होळ गावातील वास्तव्य संपले परंतु होळचे नाव त्यांच्यामागे चिकटले ते कायमचेच.