to je samo stvar tvog izbora.oba su lagana i nema neke veleike razlike. lično dugo koristim xfce na sličnoj konfiguracji (4gb ram, dual core) i u početku je bilo da sam mu pominjao i majku i oca :) , medjutim posle sam ga skapirao tako da sada nemam problema sa raznim podešavanjima. inače oba su "spartanskog" izgleda, tako da ako ti to ne smeta onda su oba uredu.
mislim takodje da za xfce imaš mnogo više objašnjenja nego za lxde, tako da je i to još jedan plus za xfce
p.s. ovo što ti linuxi, kažeš da, laguju, može biti da si stavio 32-bitne verzije. meni se to njima dešavalo. onda predji na 64-bitnu, ako već nisi.