Nato dall’accorpamento di edifici preesistenti, il palazzo – esemplare unico di residenza medievale interamente in cotto – fu realizzato in pieno Trecento, forse su progetto di seguaci di Giovanni Pisano quali Giovanni di Balduccio o Lupo di Francesco, allora attivi nel Camposanto monumentale, nel convento e chiesa di Santa Caterina e in Santa Maria della Spina: lo suggeriscono le forti analogie fra sculture di questi artisti e modellati plastici di argilla cotta presenti nelle riquadrature della facciata. Per il sontuoso prospetto interamente decorato da elementi con temi fitomorfi, antropomorfi e araldici, per le caratteristiche bifore e trifore che ne scandiscono gli spazi, per la loggia aperta, poi tamponata, che occupava l’ultimo piano, è uno dei principali esempi di architettura gotica civile in Toscana. Di proprietà degli Astai, importante famiglia di ‘lanaioli’ con esponenti ai vertici dell’Arte della Lana, nel 1496 fu acquistato da Mariano e Pietro Agostini, commercianti di seta, dai quali prende il nome: i loro discendenti vi abitano ancora oggi.
Il piano terra ospita lo storico Caffè dell’Ussero, fondato nel 1775 e ritrovo di politici e di uomini di cultura italiani e stranieri: fu sede del primo Congresso Italiano degli Scienziati nel 1839 e ancora oggi accoglie l’Accademia Nazionale dell’Ussero. Lo affianca – con ingresso dal vicolo del Tidi – il Cinema Lumière, uno dei più antichi cinema italiani oggi adibito a live club per concerti di artisti italiani e internazionali: aperto nel 1905, andò ad occupare parte dei locali ristrutturati del Caffè e gli spazi della chiesa medievale di Sant’Ilario in Porta Aurea.
Il retro del palazzo è corredato da un giardino pensile già menzionato sul finire del XV secolo come «giardino d’aranci», poi trasformato più volte nel tempo per seguire l’evoluzione del gusto.
