Запомнить это оказалось неожиданно тяжело, хотя на память он не жаловался никогда.

Это сложноподчинённое предложение с придаточным уступки. Запятая перед 'хотя' ставится верно.