わがままなことではありません。私自身子供がいないので、質問者さんとまさに同じ感覚を持っていました。
子育て中の人というのは子供が自分の世界に占める割合が半端なく大きいものです。自分からあえて、外に目をむけようと努力しない人だとどうしてもそういう風になってしまうんだと思います。そういうひとにとっては自分のもつ最大の話題が「子供」ですからその話題がだせないとすると、相手もキツイでしょう。仕事とかしているなら別ですが、そうでなければ普段はいわゆるママ友とのおしゃべりばかりで、それこそ子供の話ばかりでしょうから、違和感ないんですよ。
反面、子供を家においておけない事情も理解できます。
私や友人でも子供が小さい頃は、やはり仲間どうしの集まりに関しては、お互い気を遣っていました。
つれていくほうは、なるべく親やだんな様にあずけておけるときに、出席するし、たとえば久しぶりの集まりとか送別会なんかのある程度特別なときは、まわりの人がある程度気を遣う、というかんじです。
なので、子供が小さいうちはどうしても疎遠になるのは仕方ないことだと思います。疎遠といっても、この場合であれば嫌な思いをしての疎遠でないので、子供が大きくなると以前のように合う回数も増えますよ。
話題に関しては、人によりますねぇ。
個人的には、独身時代の話題がカレ氏の話、会社や友人のの噂話、のような失礼ながらとっても個人的なところで満足されているような方が、子供が生まれるとそればっかり、というかんじになるようです。
つまり、自分、もしくは自分の周り以外興味がないんですよ。子供持っていても、ほかに仕事でも趣味でもやりがいを持っている人はそんなにひどくないです。
結論からいうと、友人としてキープしておきたいなら、無理にあわせようとせずつかずはなれずがいいと思います。また、無理に会う必要がないなら、これを機会に自然と離れて行ってもそれはそれでありかなともおもいます。