Das Kapitelhaus ist das älteste profane Gebäude im Landkreis Verden.
Seinen ursprünglichen Namen verdankt das Kapitelhaus dem Verdener Domkapitel (die „Kapitel“ großer Kirchen entsprachen einer Mischung aus Kirchenvorstand und Aufsichtsrat), welches das Haus direkt neben der Wittloher Kirche, etwa im 12. Jahrhundert, errichten ließ.
Der erste urkundliche Erwähnung stammt aus dem 13. Jahrhundert. Für den hiesigen Teil des Verdener Umlandes diente er als Verwaltungszentrum. Dort tagte das Strukturgericht, auch der „Zehnte“ wurde dort eingesammelt.
Vielfach war die Nutzung des Gebäudes in den Jahrhunderten nach der Reformation. Noch gut 2 Jahrhunderte wurde hier Gericht gehalten, 
aber schon die ältesten im Pfarrarchiv Wittlohe vorhandenen Urkunden zum „Backhaus“ sind Rechnungen über Renovierungen und Umbauten.
Mal diente das Gebäude als Lager, als Jugendherberge, als Unterkunft für Kriegsgefangene und Flüchtlinge, sowie als Wasch- und Backhaus. Ein (zwischenzeitlich zugeschütteter) Keller diente als Gefängnis.
Das Kapitelhaus auch Backhaus genannt, wird im Kirchenvorstandsprotokoll vom 03.06.1966 erwähnt und zwar soll es zum wiederholten Male zur Sprache gekommen sein. Im Einvernehmen mit dem Landeskonservator, soll es wegen starker Baufälligkeit abgebrochen werden, nachdem es mehrfach vermessen, fotografiert und gezeichnet wurde. Dabei sollen die anfallenden Steine (Klosterformat), verkauft und der eingemauerte Hanstein mit dem Wappen derer von Mandelsloh (Foto links), wieder an einer würdigen Stelle angebracht werden.
1970 wurde der Abriss erwogen, zu dem es aber nicht kam. Seit 1983 bemühte sich der Kirchenvorstand um die Renovierung des historischen Gebäudes.
Als besonderen Glücksfall bezeichnete Pastor Dohrmann auch die Betreuung des Architekten Dreischhoff, der die Bauarbeiten leistete.
Mit öffentlichen Zuschüssen des Landkreises, der Gemeinde, mit Kirchgeldern, zahlreichen Spenden sowie durch die vielen freiwilligen Arbeitseinsätze der Gemeindeglieder konnte das älteste profane Gebäude für 260.000,- Mark völlig saniert werden. Im September 1989 wurde das Gebäude eingeweiht und dient seitdem als zusätzlicher Gemeinderaum, besonders für die Konfirmanden- und Vorstandsarbeit.
