Посилання до Горького 22 січня 1980 року по дорозі на роботу було затримано, а потім разом із дружиною Оленою Боннер без суду заслано до Горького — міста, на той час закритого для відвідування іноземними громадянами.
За даними ЗМІ, у США мешкають п'ять онуків вченого. Друга рідна дочка академіка — Любов, мешкає в Москві і найбільше схожа на батька своїм внутрішнім світом. Як відзначають близькі Любові Сахарової — у неї є «сильне моральне почуття, суворе до себе та м'яке до інших.
У березні 1989 року його було обрано народним депутатом СРСР. Андрій Дмитрович помер 14 грудня 1989 р. від серцевого нападу. Похований на Востряковському цвинтарі у Москві.