Asignar los permisos correctos a los archivos id_rsa id_rsa.pub.
Después de configurar un usuario y copiar su carpeta home, tiraba error al conectar por ssh, faltaban asignar los permisos, estos son los permisos que corresponden.
sudo chown $USER:$USER ~/.ssh -R   
chmod 600 ~/.ssh/id_rsa 
chmod 644 ~/.ssh/id_rsa.pub