1. открыть Putty Key Generator
2. сгенерировать пару
3. то, что появилось в окошке Public key for pasting into OpenSSH... - скопировать и вставить в SSH Keys гитлаба
4. нажать Conversion > Export OpenSSH key. Его как раз и использовать при подключении через smartGit.

В смартгит можно управлять ключами в Edit -> Properties -> Authentication