Ромашин увлекался мистикой и охотно верил в любые гадания и предсказания. В студенческие годы цыганка напророчила ему три брака, троих детей - двух дочерей и сына и смерть в более чем почтенном возрасте - в 83 года. Она ошиблась дважды: женился актер не три, а четыре раза. И умер в 69 лет.
Широкую известность он получил после выхода на экран в 1974 году исторического художественного фильма «Агония».
Режиссер Константин Худяков, снявший Ромашина в нескольких своих фильмах, так говорил о нем: «Даже дожив до седых волос, он был открыт миру, как ребенок, а потому беззащитен и в то же время вспыльчив. Любую неурядицу Толя воспринимал как впервые, он в этом смысле очень раним… У него была некая установка: он не хотел меняться… Всему виной его несоветская - интеллигентная и аристократическая - внешность. Бывает, что человек выглядит, как граф, а рот откроет - дворник. А Толя соответствовал своему внешнему виду».
Ромашин был женат четыре раза на трех женщинах. От каждой жены у актера есть по одному ребенку. Первая жена - Галина. В браке родилась дочь Татьяна, ставшая впоследствии диктором на телевидении.
Второй женой, на которой он женился дважды, была актриса испанского происхождения Маргарита Мерино. В этом браке 13 января 1966 года родилась дочь Мария. В браке кипели страсти. Ревнивый Ромашин поколачивал жену. В 1972 году супруги развелись из-за измен актрисы. Маргарита с дочерью уехали в Барселону. Через четыре года они вернулись в Москву, Анатолий Владимирович жену простил и во второй раз женился на ней. Ромашин рассказывал: «Это уже трудно сейчас объяснить, но когда Маргарита вернулась, чувства вновь захватили нас…» Во втором браке супруги прожили еще семь лет. После развода им удалось сохранить теплые отношения.
Третьей женой стала актриса Юлия Иванова (сценический псевдоним - Юлианна Оррен). Познакомились артисты в 1989 году на съемках фильма «Этюды о Врубеле» в Черновцах. В этом фильме 18-летняя Юлия снялась в эпизодической роли. Артисту было 58.
В интервью Ромашин рассказывал: «Я прилетел на съемки в Киев усталый и голодный. Но никто на меня и мои проблемы внимания не обращал. А она спросила: "Что вы такой грустный?" Я говорю: "Есть хочу… " - "Ну, пойдемте, я вас покормлю гречневой кашей…"»
Около двух лет они прожили вместе в незарегистрированном браке, а в 1991 году тайно расписались и повенчались в Церкви Всех Святых. В 1997 году, когда артисту исполнилось 66 лет, у него родился сын Дмитрий.
Для актера было очень важно, что на свет наконец-то появился наследник. Ему казалось правильным, что его фамилия будет продолжаться, поэтому рождение Мити было для него подарком. Крестным отцом мальчика стал Мстислав Ростропович.
Ромашин наконец-то был счастлив. Но 8 августа 2000 года он трагически погиб на своей даче в Пушкино. На него упала огромная старая сосна. Ромашин давно хотел убрать старое ненужное дерево. Чтобы его спилить, пришел с бензопилой рабочий, но, не справившись с огромным деревом в одиночку, попросил актера помочь. В ходе работ ствол огромной сосны упал на Ромашина. Анатолий Владимирович умер мгновенно. Артист всего полгода не дожил до своего 70-летия.
11 августа после отпевания в Храме Всех Святых в Сокольниках и гражданской панихиды в Белом зале Центрального дома кино его похоронили на Ваганьковском кладбище в Москве. Через полгода после смерти звезды кино его дача сгорела.
