Francisco Dias Garcia D'Ávila Caramuru und seinen Nachfahren Garcia D'Ávila II (1622-93), Francisco Dias D'Ávila II (1648- ca.1690) und Garcia D'Ávila Pereira (ca.1684-1734) gelingt es, das Besitztum der Familie auf eine heute geradezu unvollstellbare Grösse zu erweitern. Zur Zeit der holländischen Invasionen in Brasilien (1620-48) und vor allem während der niederländischen Besetzung von Salvador 1624-25 wird die Residenz des Clans in Praia do Forte zu einem wichtigen Zentrum des brasilianischen Widerstandes, und seine in diesen Jahren geleisteten Dienste führen nach der Vertreibung der Holländer zu weiteren riesigen Landkonzessionen. Auf dem Höhepunkt seiner Ausdehung umfasst das Imperium der Familie Teile diverser heutiger brasilianischer Bundesstaaten zwischen Bahia und Maranhão, je nach Schätzung durch Historiker zwischen 300.000 und 800.000 km² (das 1-2-fache bzw. das 5-fache der Größe Polens). 

Der Ausbau des Castelo Garcia D'Ávila in der heute sichtbaren Form in der Form eines "U" beginnt bereits unter Garcia D'Ávilas Enkel Francisco Dias Garcia D'Ávila Caramuru und wird nach der Vertreibung der Holländer aus Bahia abgeschlossen. Ende des 17. Jahrhunderts wird das Castelo nochmals um einen Flügel mit Verwaltungs- und Lagerräumen erweitert, von denen heute nur noch Teile der Fundamente erhalten sind.

Offiziell herrscht die Familie über ihr Reich von Praia do Forte aus, obwohl sie längst auch teilweise in Salvador lebt. Und da der nicht in mit Expeditionen, Indianerkriegen und der Verwaltung von Besitzungen im fernen Landesinneren involvierte Teil der Verwandschaft zunehmend beginnt, die Manieren des europäischen Adels zu absorbieren, wird die Residenz in Praia do Forte bisweilen Teilschauplatz sozialer Dramen der Kolonialhauptstadt. Notorisch ist etwa ein Skandal aus den 1670er Jahren, bei dem sich die 15-jährige Isabel D'Ávila, eine Nichte des Patriarchen Francisco Dias D'Ávila II, aus Praia do Forte von ihrem Geliebten nach Salvador entführen lässt, wo sie bei mächtigen Persönlichkeiten Schutz sucht und findet. Das Resultat der etwa sechsmonatigen und durch ihre Verwicklungen lokalpolitisch brisanten Episode ist unter anderem, nach viel Hin und Her und Briefverkehr mit dem portugiesischen Königshaus, eine Verurteilung des Liebhabers und eine den gesamten Familienzweig der gestrauchelten Nichte betreffende Enterbungswelle.

Während des 18. Jahrhunderts kommt es zeit- und standesgemäß zu zahlreichen strategisch motivierten Hochzeiten mit anderen mächtigen Familien des brasilianischen Nordostens, wie den Pires de Carvalho und den Cavalcanti e Alberquerque. Nach dem Tod von Francisco Dias D'Ávila III um 1750 mündet diese Strategie in einer barock-verschlungenen Anreihung von Hochzeitschlachten und juristischen Spektakeln um Erbschaftsansprüche und Privilegien, in deren Verlauf der historische Kern des Avila-Clans letztendlich den Kürzeren zieht. Ihre Erbschaften bleiben den Nachkommen erhalten, doch der Name der Familie geht aus offizieller Sicht verloren.

Die männliche Linie des Casa da Torre endet, nach sieben Generationen, im Jahr 1805 mit dem Tod von Gracia D'Ávila IV Pereira de Aragão, der die Besitztümer des Hauses seiner Nichte vermacht. Kurz vor seinem Tod versucht Gracia D'Ávila IV, sieben seiner Nachkommen mit Sklavinnen, sechs davon männlich, zu legalisieren und als Erben einzusetzen. Er hat damit keinen Erfolg, kann ihnen aber über Unwege noch umfangreiche Schenkungen zukommen lassen. Es wäre interessant zu wissen, was aus diesen afrikanisch-stämmigen Erben des Casa da Torre und ihren Ländereien geworden ist. Leider ist darüber kaum etwas bekannt.

Zurück zu Teil 1 der Geschichte von Praia do Forte, Bahia
Weiter zu Teil 3 der Geschichte von Praia do Forte, Bahia