Ez így szimpi, és nekem is így lenne logikus. Egy percig sem zártam ki, hogy én vagyok a hülye, csak sajnos normális leírást is vadászni kell.
Én az ilyenektől ijedtem meg:
AuthLDAPBindDN "cn=Manager,dc=domain,dc=com" AuthLDAPBindPassword "your_secret_secret_password_to_ldap_admin"
Itt: https://www.howtoforge.com/linux_ldap_authentication
Illetve mint írtam, a debian is valamiért kéri a kliens konfig során az admin accountot, amit aztán le is tárol az /etc/pam_ldap.secret-ben.