やめるなんてもったいないですよ!
自分もそうですが、自分の学校のクラスでは80%の人がそっちの人という特殊なクラスで、日々語っております。
というのは、ここでいう「周りの人」があなたにあわなかったって言うだけです。
すべての人が軽蔑してるというわけではないのです。
いろいろなメディアがヲタクをいろいろ悪く定義したせいで、変な考えを持つ人もいると思いますが、これだって趣味の1つです。安心してください^^
でも、軽蔑されてるということは周りの人に「自分はアニヲタ」って言うのを気づかぬうちに全面的に出しているからかもしれませんよ?
自分もそうなので、一般の人との付きあい方も日々気をつけてます。
まぁ、どっちにしろヲタクはやめないでください。駄目じゃないです!