Não movimento minha conta há mais ou menos um ano. Fiz um depósito de R$ 50 em um dia e no dia seguinte o banco debitou na minha conta um valor de R$ 19 - taxa de conta inativa. Isso está correto?

Deverá verificar se esta tarifa está prevista e informada em local visível. Se estiver, não poderá contestar.

Tenho uma conta que não movimento há muito tempo. O banco, porém, me cobra tarifas todos os meses. Eles podem fazer isso?

A conta estará sujeita à cobrança de tarifas enquanto estiver aberta. Se não tiver mais interesse em manter a conta, deverá encerrá-la formalmente.