下記を参考設定した。

AWS Systems Manager セッションマネージャーでSSH・SCPできるようになりました | DevelopersIO

.ssh/config

~/.ssh/config

# SSH over Session Manager
host i-*
	ProxyCommand sh -c "aws ssm start-session --target %h --document-name AWS-StartSSHSession --parameters 'portNumber=%p'"
	HostKeyAlgorithms ssh-rsa
	PubkeyAcceptedKeyTypes ssh-rsa

HostKeyAlgorithms, PubkeyAcceptedKeyTypesがないと sign_and_send_pubkey: no mutual signature supported ってエラーが出た。

この設定は下記を参考に変えてね。

sshd_configにHostKeyAlgorithmsを追加する

ssh command

あとは ssh するだけ！

$ ssh -i ~/.ssh/your_key_path user_name@i-xxxxx