Bei der Old Factory handelt es sich um eines der ältesten Gebäude Anguillas, das auch heute noch ein nationales Kulturerbe ist. Früher diente die Old Factory als Baumwollfabrik, ein zentraler Bestandteil des Anbaus und Exportes von Baumwolle. Das von außen eher bescheidene und doch wunderschöne Gebäude ist bereits steht hier bereits seit über einem Jahrhundert. Häuser die bereits so alt sind gibt es auf der Karibikinsel verständlicherweise nur noch wenige, Hurrikanes und Brandstiftung während verschiedener Angriffe haben hier ihr übriges getan. Bis ins 20. Jahrhundert hatte das Gebäude noch eine wichtige Rolle für die Wirtschaft, war der Baumwollhandel noch sehr lange ein wichtiger Handelszweig für die Einwohner.
Schon vor dem 16. Jahrhundert, als die ersten Europäer die Insel bevölkerten, bauten Einheimische auf Anguilla Baumwolle an. Der Rohstoff Baumwolle wurde Anfang des 20. Jahrhunderts so beliebt, dass die ersten Egreniermaschinen speziell für langfaserige anguillianische Baumwolle entwickelt wurden. Die Erfindung der Egreniermaschine (eng. Cotton Gin) führte jedoch dazu, dass immer mehr Sklaven für die Baumwollproduktion eingesetzt wurden.
In den 1950er-Jahren nahm die Baumwollproduktion auf der Insel immer mehr ab, woraufhin auch die Fabrik Old Factory letztendlich geschlossen wurde. Danach wurde sie zu einem Gemischtwarenladen, später zu einem Restaurant, heute ist ein Immobilienmaklerbüro in der Old Factory untergebracht. Auf der unteren Ebene in einem alten Steinkeller befindet sich eine kleine Kunstgalerie mit Werken des karibischen Impressionisten Sir Roland Richardson, an der sich Touristen erfreuen können.