Meine erste Theorie: Er versteht es selber nicht.

Oder es heißt genau das was geschrieben steht: Wenn jemand nicht versteht, warum du schweigst, wie soll er dann erst verstehen, was du sagst.

Kurz: Er denkt du verstehst ihn nicht bzw. hast ihn evtl. bei etwas missverstanden, was für ihn etwas eindeutiges war.

Das einzige was mir spontan dazu einfällt ist, dass Elfen in manchen Kindergeschichten die "bösen und frechen" Wesen sind. Feen hingegen tun immer Gutes.