WordPressをCMSとして利用する場合などに、あえてRSSフィードを配信したくないケースが出てきたので調べてみました。
functions.phpに以下の3行を書き足せばヘッダにフィード用のタグを表示させないようにできます。

remove_action(‘wp_head’, ‘rsd_link’);
remove_action(‘wp_head’, ‘feed_links’, 2);
remove_action(‘wp_head’, ‘feed_links_extra’, 3);

3.0から少し変わったようです。

参考にさせていただいたサイト：der Gegnwart