ドメイン配下の特定フォルダだけRCMSを動作させることはできますか？

既存のドメイン(ex. http://example.com)の特定ディレクトリのみで、RCMSで構築したサイトを運用出来ますか？

可能です。
様々な対応方法が考えられます。

１．（お勧め）プロキシーサーバやロードバランサーを利用して、RCMSのインストールされているサーバへのアクセスを振り分ける

この方法は、サーバをRCMS用とそれ以外とで分けることができますので、問題が起きた際の切り分けなどが容易でお勧めできる構成です。
SaaS版においても対応が可能です。

２．nginxやApacheの設定などを利用して、RCMSのインストールされている同一サーバ内でフォルダ毎にアクセスを振り分ける

別フォルダにFTPなどでRCMSの管理下にはないようなファイルをアップする運用の場合はこちらが選択されることもあります。
別フォルダでPHP等のCGIなどを利用される場合もありますが、問題が起きた際の責任分界点がわかりにくいというデメリットがあります。

・SaaSスタンダードプランでは、ディレクトリ階層に制限がつきますが、静的なファイルのFTPアップに限り有償オプションにて対応が可能です。
・SaaS専有サーバプランでは、静的なファイルのFTPアップに限り有償オプションにて対応が可能です。
・サーバインストール版に関しては、サーバ設定はお客様で可能ですので、様々な設定が可能です。

３．ご要望をご連絡いただいて、別途提案も可能です。