Резерфорд родился в небольшом новозеландском посёлке Спринг-Грув (англ. Spring Grove) близ города Нельсона. Отец — Джеймс Розерфорд, мать — Марта Томсон. Эрнест был четвертым ребенком в семье из двенадцати. Успешно закончил колледж в Нельсоне, получив 580 баллов из 600 возможных и премию в 50 фунтов стерлингов для продолжения учёбы в Кентерберийском Колледже в городе Крайстчёрч.
В 1895 году, после получения степени бакалавра естественных наук и двух лет исследований в передовой области электричества, Резерфорд отправился в Англию для дальнейшего обучения в Кавендишской лаборатории Кембриджского университета (1895—1898).
В Кембридже Резерфорд работал под руководством английского физика Дж. Дж. Томсона. На Томсона произвело глубокое впечатление проведенное Резерфордом исследование радиоволн, и он в 1896 г. предложил совместно изучать воздействие рентгеновских лучей (открытых годом ранее Вильгельмом Рёнтгеном) на электрические разряды в газах. Их сотрудничество увенчалось весомыми результатами, включая открытие Томсоном электрона – атомной частицы, несущей отрицательный электрический заряд. Опираясь на свои исследования, Томсон и Резерфорд выдвинули предположение, что, когда рентгеновские лучи проходят через газ, они разрушают атомы этого газа, высвобождая одинаковое число положительно и отрицательно заряженных частиц. Эти частицы они назвали ионами. После этой работы Резерфорд занялся изучением атомной структуры.
В 1898 г. Резерфорд принял место профессора Макгиллского университета в Монреале (Канада), где начал серию важных экспериментов, касающихся радиоактивного излучения элемента урана. Вскоре он открыл два вида этого излучения: испускание альфа-лучей, проникающих только на короткое расстояние, и бета-лучей, которые проникают на значительно большее расстояние. Затем Резерфорд обнаружил, что радиоактивный торий испускает газообразный радиоактивный продукт, который он назвал «эманация» (испускание).
Дальнейшие исследования показали, что два других радиоактивных элемента – радий и актиний – также производят эманацию. На основании этих и других открытий Резерфорд пришел к двум важным для понимания природы радиации выводам: все известные радиоактивные элементы испускают альфа- и бета-лучи, и, что еще более важно, радиоактивность любого радиоактивного элемента через определенный конкретный период времени уменьшается. Эти выводы дали основание предполагать, что все радиоактивные элементы принадлежат к одному семейству атомов и что в основу их классификации можно положить период уменьшения их радиоактивности.
За добрый нрав студенты прозвали Резерфорда Крокодилом. Однажды над лабораторией даже появился барельеф крокодила, автором которого был Пётр Капица.