Fill in a few or a little. There is ... olive oil in the bottle.

В английском языке 'a little' используется с неисчисляемыми существительными, такими как 'oil' (масло). 'A few' используется с исчисляемыми существительными во множественном числе. Поэтому, правильный ответ: a little