いろいろ試行錯誤してきたけど、/etc/fail2ban/jail.conf で以下のようにするのがいいのではないのかという結論です。
bantime = 31536000
findtime = 60m
maxretry = 2
…
[postfix]
enabled = true
…
[postfix-sasl]
enabled = true
31536000というのはようは1年です。
ログを眺めてると1時間に1回アクセスしてくる奴らが多いのでfindtimeとmaxretryの値になってます。