Происхождение и родина его неизвестны. Подвизался в городе Ростове в царствование Ивана Грозного (1547–1584 гг.) в подвиге юродства, терпя нужды и скорби и не имея постоянного пристанища. Живя в смирении, терпении и непрестанной молитве, он духовно окормлял многих, в том числе и блаженного Иринарха, затворника Ростовского. Блаженный всегда носил с собой и читал Псалтирь.

Скончался в глубокой старости 3 сентября 1580 г. Был погребен, по завещанию, возле церкви святого Власия, за алтарем. Он имел «власы на главе велики», потому и назывался Власатым. Наименование Милостивый блаженный Иоанн получил за многие исцеления, совершившиеся при его гробнице, а также в память св. патриарха Александрийского Иоанна Милостивого, имя которого он носил.