Справді, треба писати НІ. "Що б тобі не говорили" – підрядне з поступовим значенням. У таких придаткових використовується ствердна частка НД. Йдеться не про те, що хтось не говорить, а якраз про те, що багато хто може всяке говорити.