Древние русичи верили,  что дом и двор охраняет домовой. Он является их тайным хозяином,  никогда не показываясь настоящим хозяевам - людям. (В римской мифологии богов-хранителей очага звали пенатами.)
      Домовые были  капризны. Если им не нравилась покупка, будь то лошадь или посуда, они изводили их: посуда билась,  лошадь заболевала и вскоре погибала.
    «Не ко двору пришлось», - говорили в этом случае,  что означало «не понравилось домовому».
    Давно уже никто не верит в домовых, а фраза «не ко двору» живет в нашем языке и употребляется в значении «неподходящий».

____________
      Но из семейных разговоров знаю,  что он (дядя) был человек скромный, хотя простоватый,  и что дедушка его не любил. Вообще в своей семье он был,  как говорится,  не ко двору.
    М. Е. Салтыков-Щедрин.  «Пошехонская старина»