Всё просто, есть команда scp.

Ситуация: вам нужно закачать архив arc.tar.gz с локального компьютера файл на свой сервер по ssh по не стандартному порту 3322.

Открываем консоль:

scp -P 3322 /path_to_file/arh.tar.gz user@host:/path_to_dir

Жмём энтер, вводим пароль и видим приятную картинку:

arc.tar.gz 100% 128KB 128.0KB/s 00:00

Аналогично в обратную сторону. Копируем файлы с удалённого сервера на локальный компьютер:

scp -P 3322 user@host:/path_to_dir/arh.tar.gz /path_to_local_dir/

--