В 1932 г. под руководством академика С.И. Вавилова Черенков начал исследовать свет, возникающий при поглощении растворами излучения высокой энергии, например излучения радиоактивных веществ. Ему удалось показать, что почти во всех случаях свет вызывался известными причинами, такими, как флуоресценция. При флуоресценции падающая энергия возбуждает атомы или молекулы до более высоких энергетических состояний (согласно квантовой механике, каждый атом или молекула обладает характерным множеством дискретных энергетических уровней), из которых они быстро возвращаются на более низкие энергетические уровни. Разность энергий более высокого и более низкого состояний выделяется в виде единицы излучения – кванта, частота которого пропорциональна энергии. Если частота принадлежит видимой области, то излучение проявляется как свет. Поскольку разности энергетических уровней атомов или молекул, через которые проходит возбужденное вещество, возвращаясь в основное состояние, обычно отличаются от энергии кванта падающего излучения, эмиссия из поглощающего вещества имеет другую частоту, чем у порождающего ее излучения. Обычно эти частоты ниже.
Однако Черенков обнаружил, что гамма-лучи (обладающие гораздо большей энергией, чем рентгеновские лучи), испускаемые радием, дают слабое голубое свечение в жидкости, которое не находило удовлетворительного объяснения. Это свечение отмечали и другие. За десятки лет до Черенкова его наблюдали Мария и Пьер Кюри, исследуя радиоактивность, но считалось, что это просто одно из многочисленных проявлений люминесценции. Черенков действовал очень методично. Он пользовался дважды дистиллированной водой, чтобы удалить все примеси, которые могли быть скрытыми источниками флуоресценции. Он применял нагревание и добавлял химические вещества, такие, как йодистый калий и нитрат серебра, которые уменьшали яркость и изменяли другие характеристики обычной флуоресценции, всегда проделывая те же опыты с контрольными растворами. Свет в контрольных растворах изменялся, как обычно, но голубое свечение оставалось неизменным.
Значительным открытием была необычная поляризация свечения. Свет представляет собой периодические колебания электрического и магнитного полей, напряженность которых возрастает и убывает по абсолютной величине и регулярно меняет направление в плоскости, перпендикулярной направлению движения. Если направления полей ограничены особыми линиями в этой плоскости, как в случае отражения от плоскости, то говорят, что свет поляризован, но поляризация тем не менее перпендикулярна направлению распространения. В частности, если поляризация имеет место при флуоресценции, то свет, излучаемый возбужденным веществом, поляризуется под прямым углом к падающему лучу. Ч. обнаружил, что голубое свечение поляризовано параллельно, а не перпендикулярно направлению падающих гамма-лучей. Исследования, проведенные в 1936 г., показали также, что голубое свечение испускается не во всех направлениях, а распространяется вперед относительно падающих гамма-лучей и образует световой конус, ось которого совпадает с траекторией гамма-лучей. Это послужило ключевым фактором для его коллег, Ильи Франка и Игоря Тамма, создавших теорию, которая дала полное объяснение голубому свечению, ныне известному как излучение Черенкова.
Согласно этой теории, гамма-квант поглощается электроном в жидкости, в результате чего он вырывается из родительского атома. Подобное столкновение было описано Артуром X. Комптоном и носит название эффекта Комптона. Математическое описание такого эффекта очень похоже на описание соударений бильярдных шаров. Если возбуждающий луч обладает достаточно большой энергией, выбитый электрон вылетает с очень большой скоростью. Замечательной идеей Франка и Тамма было то, что излучение Черенкова возникает, когда электрон движется быстрее света. Других, по всей видимости, удерживал от подобного предположения фундаментальный постулат теории относительности Альберта Эйнштейна, согласно которому скорость частицы не может превышать скорости света. Однако подобное ограничение носит относительный характер и справедливо только для скорости света в вакууме. В веществах, подобных жидкостям или стеклу, свет движется с меньшей скоростью. В жидкостях электроны, выбитые из атомов, могут двигаться быстрее света, если падающие гамма-лучи обладают достаточной энергией.
Конус излучения Черенкова аналогичен волне, возникающей при движении лодки со скоростью, превышающей скорость распространения волн в воде. Он также аналогичен ударной волне, которая появляется при переходе самолетом звукового барьера.
За эту работу Черенков. получил степень доктора физико-математических наук в 1940 г. Вместе с Вавиловым, Таммом и Франком он получил Сталинскую (впоследствии переименованную в Государственную) премию СССР в 1946 г.
В 1958 г. вместе с Таммом и Франком Черенков был награжден Нобелевской премией по физике «за открытие и истолкование эффекта Черенкова». Манне Сигбан из Шведской королевской академии наук в своей речи отметил, что «открытие явления, ныне известного как эффект Черенкова, представляет собой интересный пример того, как относительно простое физическое наблюдение при правильном подходе может привести к важным открытиям и проложить новые пути для дальнейших исследований».