Sotto l’attuale chiesa di Sant’Agostino, accessibile da un ingresso a sinistra dell’altare maggiore, si trova la cripta di San Guglielmo. Nel 1747 la chiesa ha subito delle notevoli trasformazioni dovute alla riedificazione della sovrastante chiesa di Sant’Agostino. La chiesa fu intitolata a San Guglielmo in seguito al passaggio e alla sosta del santo in questa cripta ove incontrò Giovanni da Matera. Diversi affreschi arricchiscono le pareti della chiesa rupestre tra cui una Crocifissione, una Madonna con Bambino e la consegna della regola a Sant’Agostino. E’ di notevole spicco il dipinto della SS. Trinità .