A csillagvizsgálót 1764-ben gróf Eszterházy Károly egri püspök alapította a tervezett egyetem egyik intézményeként. Költségeket nem kímélve, a maga korának legjobb és - a lehetőség szerinti - legnagyobb csillagászati műszereit szerezték be, főleg angliai műhelyekből. Elképzelése szerint a csillagásztorony - akkori latinos nevén a "specula"- egyaránt szolgálta volna az oktatást és a tudományos kutatást.
A püspök a tervezett négy fakultásból (jogtudomány, teológia, orvosképzés és természettudományok) álló universitas felépítésére, 1764-ben kötött szerződést Fellner Jakab építésszel, a késő barokk talán legkiválóbb magyarországi mesterével. A csillagvizsgáló torony belső kialakításához Fellner – Esterházy kívánságára – Hell Miksa és Madarassy János9 csillagászok véleményét is kikérte. A csillagvizsgáló-torony már 1776-ban a tetőszintig készen állt, és megkezdődött a berendezése. Teljes egészében 1785-re készült el. Uralkodói rendeletre (Ratio Educationis 1777) azonban a tervezett egyetemet papneveldévé, majd gimnáziummá minősítették. Ennek keretében pedig sem anyagi, sem oktatási lehetősége nem volt egy nagyszabású obszervatórium fenntartására. Amikor a 19. sz. elején újból matematikus került a csillagvizsgálóba, a tehetséges Tittel Pál (1784-1831) személyében, az akkora már egyre elavuló eszközökkel nem sok érdemi munkát végezhetett. A csillagásztorony később Zétényi Endrének köszönhetően múzeummá vált.
1868-ban a Magyar Orvosok és Természetvizsgálók Társaságának szokásos vándorgyűlésére Egerben a líceumban került sor. Ahogy szokás volt a vándorgyűlésre emlékérmet készítettek. Az épület homlokzatával együtt a művész megörökítette a csillagvizsgálót is. Felül a felírat: "EGER A MAGYAR ORVOSOKNAK ÉS TERMÉSZET/ VIZSGÁLÓKNAK 1868. A líceum épülete, a speculával. Felirat alatta "EGRI ÉRSEKI/ LYCEUM".
A hátoldalon két címer pajzs, melyeken Eger város és Heves megye címere látható. A pajzsok felett szárnyas kerubfej, alul SEIDAN. Az egész búza- és szőlőkoszorúban. Az érem Wenzel Seidan (1817-1870) prágai születésű bécsi éremművész készítette.
A csillagásztoronyban ma múzeum működik, számos csillagászati "relikvia" tekinthető meg, egyebek mellett a Hell-harang, amellyel 1890-ig jelezték az egri dél időpontját a város polgárainak. A múzeum egyik legfőbb érdekessége az egri délvonal (meridián), melyet Hell Miksa jelölt ki, és az ő kívánságára carrarai fehér márványból készítettek el. A délvonal három sávból, a középső sáv 12 darab carrarai márványlapból áll. A másik két sáv csak részben márvány, részben tárkányi kristályos mészkő. A délvonal hatalmas lyukkameraként működik: egy apró nyíláson esik be a terembe a Nap fénye. A délvonal közepén áthaladó napkép jelzi az egri dél időpontját.
