Faktor yang mempegaruhi harga diri meliputi penolakan orang tua, harapan orang tua yang tidak relistis, kegagalan yang berulang kali, kurang mempunyai tanggungjawab personal, ketergantungan pada orang lain dan ideal diri yag tidak realistis. Sedangkan menurut Dariuszky (2004) yang menghambat perkembangan harga diri adalah : Perasaan takut , yaitu kekhawatiran atau ketakutan (fear).
Dalam kehidupan sehari-hari individu harus menempatkan diri di tengah-tengah realita. Ada yang menghadapi fakta-fakta kehidupan dengan penuh kebenaran, akan tetapi ada juga yang menghadapinya dengan perasaan tidak berdaya. Ini adalah tanggapan negatif terhadap diri, sehingga sekitarnya pun merupakan sesuatu yang negatif bagi dirinya. Tanggapan ini menjadikan individu selalu hidup dalam ketakutan yang akan mempengaruhi seluruh alam perasaannya sehingga terjadi keguncangan dalam keseimbangan kepribadian, yaitu suatu keadaan emosi yang labil. Maka dalam keadaan tersebut individu tidak berpikir secara wajar, jalan pikirannya palsu, dan segala sesuatu yang diluar diri yang dipersepsikan secara salah.
Dengan demikian tindakan-tindakannya menjadi tidak adekuat sebab diarahkan untuk kekurangan dirinya. Keadaan ini lama kelamaan tidak dapat dipertahankan lagi, yang akhirnya akan menimbulkan kecemasan, sehingga jelaslah bahwa keadaan ini akan berpengaruh pada perkembanganharga dirinya.
Perasaan salah yang pertama dimiliki oleh individu yang mempunyai pegangan hidup berdasarkan kesadaran dan keyakinan diri, atau dengan kata lain individu sendiri telah menentukan criteria mengenai mana yang baik dan buruk bagi dirinya Perasaan salah yang kedua adalah merasa salah terhadap ketakutan, seperti umpamanya orangtua. Keadaan ini kemudian terlihat dalam bentuk kecemasan yang merupakan unsur penghambat bagi perkembangan kepercayaan akan diri sendiri.