В 1994-1998 и 1998-2002 гг. — народный депутат Украины II и III созывов (избран в мажоритарных округах Одессы). Возглавлял комиссию Верховной Рады по изучению по изучению политико-правовой ситуации в АР Крым, временную следственную парламентскую комиссию по делу мореходной компании Бласко. Возглавлял комитет по вопросам борьбы с организованной преступностью и коррупцией.

В парламенте второго созыва Юрий Кармазин входил во фракцию Павла Лазаренко Громада. С 2000 года — в группу Петра Порошенко Солидарность. В 1999-м баллотировался на пост президента Украины. Набрал 0,35% голосов избирателей и занял 10-е место из 13-ти возможных.

С 1999 года — председатель Партии защитников Отечества. Как оппозиционный политик принимал участие в деятельности Гражданского комитета защиты Конституции «Украина без Кучмы» (с 2001-го).

2002-2006 гг. — народный депутат Украины IV созыва от блока Виктора Ющенко Наша Украина (№17 в избирательном списке). Глава подкомитета по вопросам законотворчества, систематизации законодательства Украины и согласования его с международным правом комитета ВР по вопросам правовой политики. На президентских выборах 2004 года принял активное участие в поддержке оппозиционного кандидата Ющенко и в «оранжевой революции».

На парламентских выборах-2006 создал Блок Юрия Кармазина. Политсила набрала 0,65% голосов избирателей, не дотянув до 3-процентного проходного барьера.

С июля по осень 2007-го — советник президента Ющенко.

2007-2012 гг. — народный депутат Украины VI созыва от блока Наша Украина — Народная самооборона (№58 в списке). Первый заместитель главы комитета ВР по вопросам правосудия.

Во время регистрации кандидатов на парламентских выборах-2012 одного из самых активных законотворцев постигла неудача: Центризбирком отказал Кармазину в регистрации кандидатом. Выяснилось, что Кармазин подал документы на регистрацию сразу по двум округам — №151 Полтавской области и №179 Харьковской. Позже он передумал баллотироваться по округу №179, но ЦИК не принял это во внимание, поскольку на день подачи отказного заявления Кармазин не являлся официально зарегистрированным кандидатом.

В итоге большинство членов комиссии проголосовали за то, чтобы полностью отказать Кармазину в регистрации кандидатом в народные депутаты и вернуть ему внесенную сумму залога. Сам Кармазин заявил, что ЦИК умышленно отказалась зарегистрировать его кандидатом и назвал это сугубо мотивированным политическим решением.