Marek Grechuta urodził się w Zamościu w 1945 roku. W dzieciństwie wyjechał z rodziną do Chylic pod Warszawą, ale w 1956 roku rodzina na powrót osiadła w Zamościu. W czasie pobytu w Chylicach kościelny organista udzielał Grechucie pierwszych lekcji muzyki. Od najmłodszych lat uczył się gry na fortepianie. Ukończył zamojskie I Liceum Ogólnokształcące im. Jana Zamoyskiego.
W 1963 roku podjął studia architektoniczne na Politechnice Krakowskiej. W 1966 z Janem Kantym Pawluśkiewiczem, założył Kabaret Architektów Anawa (z francuskiego en avant – naprzód), który wkrótce się przeobraził w zespół towarzyszący mu na występach.
Publiczny debiut muzyczny Grechuty miał miejsce w październiku 1967 roku, kiedy dzięki wykonaniu piosenki „Tango Anawa” zajął drugie miejsce wśród wokalistów na Studenckim Festiwalu Piosenki w Krakowie. W 1968 roku na VI KFPP w Opolu zdobył nagrodę dziennikarzy za piosenkę „Serce”, a rok później na VII KFPP jedną z głównych nagród (Nagroda TVP) za piosenkę „Wesele”. Z zespołem Anawa nagrał dwie swoje pierwsze płyty – Marek Grechuta & Anawa z 1970 roku oraz Korowód z 1971. W tym roku na IX KFPP w Opolu Grechuta zdobył główną nagrodę za piosenkę „Korowód”.
W 1971 Grechuta opuścił zespół Anawa i założył inny zespół, o nazwie WIEM (W Innej Epoce Muzycznej). Z zespołem tym nagrał dwa albumy – Droga za widnokres oraz Magia obłoków. Płyty wypełnione były muzyką z elementami jazz-rocka, a wśród tekstów wykorzystano twórczość poetów współczesnych, takich jak Tadeusz Nowak, Tadeusz Śliwiak, Ryszard Krynicki albo Mieczysław Jastrun.
Pięć lat później ponownie zaczął współpracę z Pawluśkiewiczem i pisanie muzyki do tekstów Witkacego. W 1977 na XV Krajowym Festiwalu Piosenki Polskiej w Opolu jego piosenka „Hop – szklankę piwa” zdobyła Nagrodę Grand Prix, również na tym festiwalu przez Krystynę Jandę wykonywana była piosenka „Guma do żucia”, której muzykę i słowa napisał Marek Grechuta. Grechuta był również, wraz z Krzysztofem Jasińskim i Janem Kantym Pawluśkiewiczem, współautorem musicalu Szalona lokomotywa według Stanisława Ignacego Witkiewicza, prezentowanego w latach 1977–1980, m.in. w krakowskim Teatrze STU oraz katowickim Spodku.
W 1976 Marek Grechuta rozpoczął, trwającą blisko 10 lat, współpracę z Piwnicą pod Baranami.
W 1979 roku nagrał płytę z pieśniami do słów poety Tadeusza Nowaka, które poza nim zaśpiewali Teresa Iwaniszewska-Haremza, Magda Umer oraz Marian Opania. Utwory te, pochodzące ze spektaklu Zapach łamanego chleba nie spotkały się jednak z dobrym przyjęciem. W 1981 ukazały się Śpiewające obrazy, płyta nagrana ponownie z zespołem Anawa, na której znalazły się piosenki inspirowane obrazami van Gogha, Picassa, Degasa, Moneta, Renoira i Wyspiańskiego, a także muzyka ze spektaklu Otello.
W 1984 roku wspólnie z Krystyną Jandą nagrał płytę W malinowym chruśniaku, z wierszami Bolesława Leśmiana. Do własnych tekstów wrócił w 1986 roku, wydając (w 1987) płytę Wiosna – ach to ty. Wypełniona była lżejszą muzyką i przyniosła tytułowy przebój, zawierała też fragmenty muzyki ze spektakli Colas Breugonon, Tumor Witkacego i Kroniki Olsztyńskiej. W 1987 roku napisał muzykę do przedstawienia teatralnego Jana Brzechwy – Kopciuszek. W 1989 roku wydał płytę Krajobraz pełen nadziei. W 1990 w Teatrze Stu odbył się koncert pt. „Złote przeboje”, w którym wystąpiła także, zaproszona przez Grechutę, aktorka Starego Teatru – Grażyna Trela (utwór: „Wesele”). W 1991 wydał Piosenki dla dzieci i rodziców, nagrane wspólnie z aktorami Teatru Starego w Krakowie oraz dziecięcym chórem Gama.
Rok 1994 przyniósł kolejną płytę: Dziesięć ważnych słów, zawierającą utwory poświęcone istotnym wartościom w życiu. Grechuta nawiązywał na niej do Dekalogu, określając ją jako „dziesięć przykazań człowieka współczesnego”.
W roku 2003 wspólnie z grupą Myslovitz wykonał cover ich przeboju „Kraków”, który znalazł się na dwupłytowym albumie The Best of Myslovitz. Ostatnią płytą Grechuty z premierowym materiałem były Niezwykłe miejsca (2004), gdzie znalazły się piosenki poświęcone miejscom, które go oczarowały.
W 2000 ukazał się zestaw Świecie nasz, zawierający wszystkie 13 albumów Grechuty. Kompilacja otrzymała w 2001 Nagrodę Muzyczną Fryderyk w kategorii „najlepsza reedycja”. Zestaw został wznowiony w roku 2005, uzupełniono go wtedy o album Niezwykłe miejsca, a także o składającą się z nagrań archiwalnych płytę Godzina miłowania.
W roku 2006 na 43 KFPP w Opolu Marek Grechuta został uhonorowany Grand Prix tego festiwalu (Nagroda Prezesa TVP).
Zmarł nagle w nocy 9 października 2006, w wyniku niewydolności krążenia, która była skutkiem ogólnego pogorszenia stanu zdrowia spowodowanego kilkoma czynnikami.
17 października 2006 został pochowany w Alei Zasłużonych na Cmentarzu Rakowickim w Krakowie. Pogrzeb poprzedziła msza święta w Kościele Mariackim, gdzie artyści Piwnicy pod Baranami zaśpiewali Przychodzimy, odchodzimy i Dezyderata. Gdy trumna z ciałem Marka Grechuty opuszczała bazylikę, rozległy się oklaski, którym towarzyszyła melodia piosenki artysty „Ocalić od zapomnienia”. Od bramy Cmentarza Rakowickiego trumnę Marka Grechuty nieśli jego przyjaciele z Piwnicy, m.in.: Grzegorz Turnau, Jan Kanty Pawluśkiewicz, Zbigniew Preisner. Nad grobem Jan Kanty Pawluśkiewicz odczytał wiersz napisany przez Leszka Aleksandra Moczulskiego. W pogrzebie Grechuty uczestniczyli m.in.: Grzegorz Turnau, Mirosław Czyżykiewicz, Jacek Zieliński, Anna Szałapak, Jacek Wójcicki, Artur Rojek, Leszek Wójtowicz i prezydent Krakowa Jacek Majchrowski.