Fudge izcelsme nav skaidra, bet fudge vēsture ir meklējama vismaz 1886. gadā pēc mūsu ēras. Precīza fudge izcelsme un izgudrotājs joprojām ir strīdīgs, taču daži eksperti uzskata, ka vārds “fudge” vispirms tika lietots sabojātai karameļu partijai, izraisot izsaukumu “Ak, fudge!” Lielākā daļa pārtikas vēsturnieku uzskata, ka izdomājums, kāds tas pastāv mūsdienās, ir amerikāņu izgudrojums.
Fudge ir kristālisks konditorejas izstrādājums. Atšķirībā no daudziem citiem konfekšu veidiem, piemēram, taffy un karamelēm, kas atsakās no kristalizācijas, kristālu veidošanās ir nepieciešama, lai izveidotu fudge. Šis process rada konfektes, kas ir stingras, taču gludas, jo kristāli ir tik mazi, ka tiem nav garšas vai graudainības. Fudge maisījums, kurā jāsatur cukurs, sviests un piens, ir pienācīgi jāsagatavo un jāatdzesē, lai izveidotu atbilstošā izmēra cukura kristālus. Ja process netiek veikts pareizi, kristāli vai nu veidosies pārāk agri un kļūs pārāk lieli, vai arī neveidosies vispār, kā rezultātā izveidosies karamelei līdzīga konfekte.
Fudge vēsture var būt pirms ASV dibināšanas, un eksperti ātri norāda uz līdzību starp fudge un planšetdatoru, skotu saldumu. Planšetdators pirmo reizi ir minēts lēdijas Griselas Beilijas mājsaimniecības grāmatā, kas tika uzrakstīta laikā no 1692. gada līdz 1733. gadam mūsu ēras. Tabletes izveides process sākas tāpat kā izdomājums — vārot cukuru, pienu un sviestu, līdz tie sasniedz mīkstas lodītes temperatūru 235–240 °F (113–116 °C) temperatūrā, un tad maisījumu noņem no uzkarsē un ļauj atdzist. Kristalizācija notiek tabletē, bet veidojas lieli kristāli, kas piešķir konfektei graudainu un trauslu tekstūru, kas ir diezgan atšķirīga no mīkstās, gludās konfektes tekstūras.
Emelyn Battersby Hartridge dokumentē pirmo mārciņu pārdošanu, 1886. gadā uzrakstot vēstuli, kurā teikts, ka kāda skolas biedra brālēns Baltimorā pārdevis mārciņu par 40 centiem par mārciņu. 1888. gadā Hartridžas kundze, kas joprojām mācās Vasara koledžā Poughkeepsie, Ņujorkas štatā, rakstīja, ka Senioru izsolei viņa izgatavoja pat 30 mārciņas. Fudge ātri iepazinās Vassarā, un pēc neilga laika saldumu receptes sāka parādīties arī citās sieviešu koledžās. Smita un Velslija koledžas pielāgoja tā saukto oriģinālo recepti savās versijās.
Vassar recepte paredzēja balto cukuru, krējumu, nesaldinātu šokolādi un sviestu. Velslija koledžas izveide tikai nedaudz mainīja oriģinālo recepti, pievienojot zefīrus, kas neļauj izdomājumam sabrukt dzesēšanas laikā. Smita koledžas recepte bija pirmā, kas atkāpās no sākotnējās, pievienojot papildu sviestu kopā ar brūno un balto cukuru, melasi un vaniļu. Katra no šīm receptēm ir ļoti delikāta. Fudge vēsture tika uz visiem laikiem mainīta, kad kukurūzas sīrups, kas aizkavē kristālu veidošanos, pirmo reizi tika izmantots drošām receptēm.