हा पुरस्कार सुरू करण्यामागे रमा जैन यांची प्रेरणा होती. रमा जैन आणि त्यांचे पती साहू शांतिप्रसाद जैन यांनी भारतीय साहित्यिकांच्या गौरवार्थ हा उपक्रम करण्याचे ठरवले. [[२२ मे]], [[इ.स. १९६१]] या दिवशी साहू जैन यांच्या एक्कावन्नाव्या वाढदिवसाचे औचित्य साधून त्यांनी स्वत:च्यास्वतःच्या कौटुंबिक ट्रस्टमधून ''ज्ञानपीठ पुरस्कार'' देण्याची घोषणा केली. त्यानुसार भारतीय ज्ञानपीठाच्या संस्थापक अध्यक्षा श्रीमती रमा जैन यांनी [[१६ सप्टेंबर]], इ.स. १९६१ यादिवशी संस्थेच्या बैठकीत ज्ञानपीठ पुरस्काराबाबतचा ठराव मांडला. या पुरस्काराचे स्वरूप ठरविण्यासाठी [[२ एप्रिल]], [[इ.स. १९६२]] या दिवशी [[दिल्ली]]त देशभरातून ३०० विद्वानांना आमंत्रित करण्यात आले. या विद्वानांचे दोन सत्रांत संमेलन झाले. सत्रांचे अध्य्क्षपद डॉ. वी. राघवन आणि डॉ. भगवतीचरण वर्मा यांच्याकडे होते. सूत्रसंचालन डॉ. धर्मवीर भारती यांनी केले. या संमेलनाला [[दत्तात्रय बाळकृष्ण कालेलकर|काका कालेलकर]], हरेकृष्ण मेहताब, निसीम इझिकेल, डॉ. सुनीति कुमार चॅटर्जी, डॉ. [[मुल्कराज आनंद]], सुरेंद्र मोहंती, देवेश दास, सियारामशरण गुप्त, रामधारी सिंह दिनकर, उदयशंकर भट्ट, जगदीशचंद्र माथुर, डॉ. नगेन्द्र, डॉ. बी.आर. बेंद्रे, जैनेन्द्र कुमार, मन्मथनाथ गुप्त, लक्ष्मीचंद्र जैन यांसारखे विद्वान हजर होते. या संमेलनातून तयार झालेली पुरस्काराची संपूर्ण योजना [[डॉ. राजेंद्रप्रसाद]] यांना सादर करण्यात आली. त्यांनी ती मान्य केली व निवडसमितीचे प्रमुखपदही स्वीकारले पण इ.स. १९६३ मध्ये त्यांचे निधन झाले. त्यानंतर ही जबाबदारी काकासाहेब कालेलकर व डॉ. संपूर्णानंद यांच्याकडे आली. २९ डिसेंबर १९६५मध्ये पहिला ज्ञानपीठ पुरस्कार मल्याळम कवी श्री. गोविंद शंकर कुरूप यांच्या ''ओडोक्वुघल'' (बासरी) या काव्यकृतीला मिळाला.
