Um unter Ubuntu Dateien direkt zu löschen muß man eine Änderung im Nautilus Dateimanager machen.
Dazu öffnet man zuerst Nautilus z.B. mit ALT+F2 -> Nautilus.
Unter Bearbeiten -> Einstellungen -> Verhalten aktiviert man dann die Option "Einen Löschbefehl bereitstellen, der den Müll umgeht". Damit hat man dann einen Löschen Menüpunkt beim Rechtsklick auf eine Datei.
Leider hab ich noch keine Funktion gefunden die den Mülleimer komplett deaktiviert. Falls jemand soetwas findet, bitte bescheid geben.