Claro que hay que darle. Si no lo haces te arriesgas a perder la información.

en el notificador de dispositivos o en el propio dolphin debes hacerlo

En kde 4 no es necesarío*

* Realmente se aconseja... pero si el dispositivo en ese momento no esta en uso el backend encargado lo tiene listo para desconectar. Si estas transfiriendo archivos a un pendrive perderas la transferencia, pero si lo tienes conectado y sin usar no pasará nada.

El "Quitar Hardware con Seguridad" en Windows desconecta el suministro de energía al puerto USB en uso, lo cual no es para nada necesario ya que los pendrives están preparados para conectar y desconectar al vuelo cuantas veces quieras.
En GNU/Linux (creo que en Mac también) el "expulsar" lo que hace es simplemente desmontar la unidad, y es aconsejable "expulsarlo" para que no haya corrupción del sistema de ficheros, perdida de datos o nos indique si aún está siendo usado por alguna aplicación. Se hace como te ha dicho shaola.
Saludos.

Es conveniente "desmontar" el pendrive.