Ist nicht einfach zu bentworten, aber meiner Meinung nach ist es in keinster Weise falsch sich gegen eine "Hierarchie" (ist vielleicht falsch geschrieben^^) dieser Art zu wehren.
Andererseits, betrachte mal ihren Standpunkt: Sie sehen, dass du die ganze Zeit/oft liest oder lernst o. ä., für sie ist das wahrscheinlich kein "arbeiten", jedenfalls keines wie sie es kennen oder definieren würden. Letztendlich tust du ja auch "nur" etwas für dich selbst, auch wenn das natürlich auch Arbeit ist, aber sie sehen es eben so, dass du nichts für das Ganze tust.
Ich will nichts gegen deine Familie bzw. deinen Vater und deinen Bruder sagen, aber es gibt immer wieder Menschen, die nicht mit sich reden lassen oder denken, dass sie immer recht hätten. Dein Vater hat natürlich eine gewisse Autorität in der Familie die er in deinem Fall befehlsgebend-/habend einsetzt. Alles in allem ist das natürlich eher unpraktisch und weniger hilfreich.
Letztendlich musst du den Beiden klar machen, dass du nun mal nicht "so arbeiten" kannst wie Sie es tun (aufgrund deiner gesundheitlichen Beschwerden), aber dafür auf andere Weise arbeitest. Das das nicht einfach ist, ist mir klar. Du musst versuchen sie Beide (oder erstmal nur deinen Vater? Musst du natürlich entscheiden) an einen Tisch kriegst um ein Gespräch zu beginnen. Außerdem solltest du deiner Mutter davon erzählen und sie zu diesem Gespräch hinzuziehen. Einfach um eine mögliche Unterstützung zu haben, aber auch um eine weitere (möglichst objektive) vertretene Meinung zu haben.
Eine Möglichkei wie du deine Vater vielleicht dazu bekommst, dir dann zuzuhören und auf dich einzugehen wäre, dass du ihm irgendetwas geradewegs ins Gesicht sagst, was ihn zum nachdenken bringen würde bzw. worüber er vielleicht sehr bestürtzt wäre. Ich meine damit nicht, dass du ihn beleidigen sollst, das wäre nicht so sinnvoll.
Zum Beispiel was du genau von ihm im Moment hälst, möglichst nett formuliert aber dennoch treffend und nicht umschreibend. Du musst ihm schon ohne irgendwelche Hemmungen sagen, dass was du eigentlich empfindest, seine Gefühle anschließend oder währenddessen würde ich dabei nicht beachten.
Möglicherweise könntest du auch sagen, wie du dich im Moment fühlst und das dies von ihm ausgehe. Es müsste sich etwas ändern, so kann es nicht weiter gehen. Dieses natürlich auch von der Art her genauso formuliert wie das erste Beispiel.
Ich hoffe, ich konnte dir helfen, viel Glück ;)