Dans la Martinique rurale des années 50-60 en proie à de profondes mutations, un homme, Rosalien Saint-Victor, continue à vivre comme si le temps était immobile : petit entrepreneur en bâtiment, il est tout à la fois éleveur de coqs de combat et joueur professionnel de « serbi » (dés). Il sillonne l'île à dos de mulet, quasiment toute l'année, afin d'assouvir ses deux passions, entretenant, outre son épouse Lorette avec qui il vit au Lorrain, trois autres femmes dans d'autres communes - Doriane, l'Indienne rêveuse du Lamentin ; Passionise, la câpresse bréhaigne du Morne Acajou, au François ; Mathilda, la négresse du Saint-Esprit qui sait lire dans son âme ; se retrouvant du même coup père d'une nombreuse progéniture.
Raphaël Confiant évoque une Martinique que ni la télévision ni le tourisme ni l'Internet n'ont encore touchée, une Martinique encore enracinée dans sa langue et sa culture créoles, mais qui est sur le point de vaciller. Rosalien Saint-Victor, longtemps « major » c'est-à-dire fier à bras de son quartier, comprend peu à peu que les valeurs avec lesquelles il a été élevé et qu'il s'est efforcé de respecter et de défendre n'ont désormais plus cours. Il finit par se sentir presqu'étranger dans un monde où il n'a plus d'autorité sur ses propres enfants.
Roman de la nostalgie, de la célébration du « temps-longtemps », « le Gouverneurs des dés » est aussi un témoignage empreint de sensibilité sur le basculement de la Martinique dans la modernité.