भारतीय भूदलातून निवृत्त झाल्यावर अरुण वैद्य [[पुणे|पुण्यात]] स्थायिक झाले. १० ऑगस्ट, इ.स. १९८६ रोजी बाजारातून घरी परतत असताना दुचाकीवरुनदुचाकीवरून आलेल्या दहशतवाद्यांनी त्यांच्यावर बंदुकीतुन ८ गोळ्या झाडल्या. वैद्यांना डोक्यात आणि मानेत गोळ्या लागल्या व त्यांचा घटनास्थळीच मृत्यू झाला. यावेळी त्यांचा अंगरक्षकही सोबत होता; व तोही पाठीत व मांड्यांत गोळ्या लागून जखमी झाला. [[खलिस्तान कमांडो फोर्स]] या अतिरेकी संघटनेने या हत्येची जबाबदारी स्वीकारली व [[सुवर्णमंदिर|सुवर्णमंदिरावर]] करण्यात आलेल्या कारवाईचा सूड उगवण्यासाठी वैद्यांना मारल्याचा दावा केला. काही काळात वैद्याच्या मारेकऱ्यांना पकडण्यात आले. इ.स. १९८९ मध्ये सुखदेव सिंग आणि हरजिंदर सिंग यांना मृत्युदंडाची शिक्षा ठोठावण्यात आली. ९ ऑक्टोंबर, इ.स. १९९२ रोजी या दोघांना फाशी देण्यात आले.
