В прилагательном "кавказский" пишется суффикс -ск-, а в прилагательном "русский" - суффикс -к-.
Это связано с тем, что суффикс -к- пишется, если основа слова заканчивается на буквы К, Ч, Ц, а суффикс -ск- - в остальных случаях.