За живота на най-тачения и популярен български светец, преди да поеме по пътя на отшелничеството, се знае твърде малко. Той е роден около 876 година в село Скрино (Кюстендилско) като рожденното му име остава неизвестно. Имал бедни, но благочестиви родители, които го възпитали в християнската вяра и любов към Бога.
Според някои историци той изкарвал прехраната си като пастир. След смъртта на родителите си, на около 25 години, младежът решил да приеме монашеството и името Йоан. Той раздал на бедните и болните всичко, което имал и както пише най-известният му агиограф патриарх Евтимий: „въоръжи се като друг Давид против духовния Голиат, взе според древната повест три камъка – вярата, надеждата и любовта, облече се в бронята на правдата и възложи на главата си божествения покров като шлем на спасението, постъпи в един от тамошните манастири и подстрига косите си заедно със страстите и похотите.“
Смята се, че Йоан постъпил в близкия манастир „Св. Димитър“, намиращ се под връх Руен. Там младият монах получил образование, придобивайки знания от свещените и богослужебни книги. Скоро след това той напуснал манастира и се изкачил на висока и гола планина, където от сухи вейки си направил колиба. Там пръв се отдал на отшелнически живот в пълна самота, молитви, пост и лишения. Затова се смята за основоположник на отшелничеството в България.
Една нощ го нападнали разбойници, набили го и го изгонили от там. След скитане из планината той се подслонил в хралупата на огромен дъб. В него прекарал няколко години, отдаден на пост и молитви. През това време го открили овчари, които разказали за пустинника. Постепенно при хралупата започнали да идват много хора, някои от които водели със себе си болни, търсещи изцеление, на които преподобният помагал. След време отшелникът напуснал хралупата и се преселил в една пещера, още по-отдалечена от хорските пътища.
Един ден неговият племенник Лука, без да каже на баща си, тръгнал да търси любимия си чичо из планината. След големи трудности го намерил. Отшелникът приел с любов племенника си и двамата започнали да се подвизават в труд и молитва. Разтровожен за сина си, бащата започнал да го издирва. Намерил го в пещерата като същински отшелник. Разгневил се и се озлобил срещу брат си Йоан, който бил допуснал това и отвел сина си. Йоан помолил Господа да спаси поне душата на момчето.
Докато вървели по пътя към родното им село, змия ухапала младия Лука и той умрял. Баща му, дълбоко нажален от станалото, се почувствал виновен за неочакваната смърт на момчето. Той взел мъртвото тяло и го понесъл обратно към пещерата на Йоан. Пустинникът поискал от него да погребе сина си близо до пещерата. Когато бащата си отишъл, Йоан започнал редовно да ходи при гроба. Седял до него и се отдавал на мисли за суетността на земния живот. След време Йоан напуснал пещерата и се заселил на една много висока и гола скала.
И тук великият отшелник не останал скрит от хората. Слухът за неговите подвизи стигнал и до цар Петър. Владетелят поискал да го види и да разговаря с него. Подобно желание не било нещо странно, а традиция, добре позната във Византия по това време. Императорите посещавали отшелници или търсели съвети от тях. Константин VII Багренородни поддържал връзки с отшелници в Мала Азия. Българският владетел, повлиян от тази практика, разменял кореспонденция с друг подвижник – св. Павел Латрийски.
Петър изпратил свои хора при Йоан, но до среща между двамата не се стигнало, заради стръмнината на мястото и скромността на пустинника. Той обаче отправил благословия към владетеля, който стоял на една отсрещна скала. Скоро след това царят му изпратил дарове – злато и плодове. Йоан приел с благодарност плодовете, но златото върнал с думите, предадени от патриарх Евтимий: „Приемаме постническата храна, а твоето злато… то трябва да бъде изразходвано в оръжие и войска, а още повече за бедните, за голите и бездомните, а не за свое удоволствие. Затова ако желаеш да наследиш заедно със земното царство и небесното, бъди щедър, както е щедър небесният наш Отец.“
По друг начин е представена историята от автора на Безименното житие. Според него, светецът казал на двамата царски пратеници: „… Ако искаш да ме видиш и да те видя, постави шатра на върха, а аз ще направя дим, та ти да видиш дима, а аз да видя шатрата – така ни е повелено да се видим”. Така направили двамата, след това прославили Бога и се поклонили един другиму.
Това още повече увеличило славата му и към него започнали да се присъединяват ученици, които строели за себе си колиби наоколо. С тяхна помощ отшелникът основал монашеско общежитие – ядрото на бъдещия Рилски манастир.
Преди смъртта си Йоан оставил „Завет“ на своите ученици и следовници, в който ги съветвал да презират земните блага и сребролюбието, да живеят сговорно в монашеско общежитие и да съблюдават правата вяра. Пустинникът починал на 18 август 946 година, на 70 години. Многобройните легенди за живота му станали извор за съставянето на десетина негови жития. Предполага се, че канонизацията на светеца била извършена през X век, след пренасянето на мощите му от Рила в Средец. Те били положени най-напред в храма „Св. великомъченик Георги Победоносец“, а по-късно пренесени в църквата „Св. апостол и евангелист Лука“.
След завладяването на града от унгарците в началото на 80-те години на XII век, мощите били отнесени в Естергом, но три години по-късно върнати в Средец. Скоро след това българският владетел Асен I ги занесъл в новата столица Търново. През 1469 година с тържествено шествие мощите на светеца били пренесени в Рилския манастир.
