iPhoneから自宅の家庭内LANに繋ぐのに、sshトンネルかPPTPを使っているが、PPTPはセキュリティがいまいちみたいな記述を見たので、L2TPを試してみることに。(おかげでサーバが死んだけど)
参考にしたのは、FreeBSD 9.1をIPsec対応L2TP VPNサーバにする: プラスα空間
まずは、カーネルコンフィグの修正。
参考サイトだと、IPSEC系の設定と、IPFIREWALLの設定があるんだけど、うちはipfwじゃなくてipfilterを使っているので、IPFIREWALL系の設定は不要と判断。
なので、カーネルコンフィグに追加する必要があるのは以下。(options IPSECとdevice cryptoは元々あったけど)

options         IPSEC
options         IPSEC_NAT_T 
device          crypto

racoonとmpdのインストールと設定は基本参考サイトの通り。
racoonのpatchは、参考サイトからコピペするとタブ文字が空白になってしまって失敗するので、参考サイトの元サイトのwikiからコピーした方が良い。
手順9のrc.confの設定で、ipsec_program="/usr/local/sbin/setkey" の行はうちの環境では不要。と言うか、/usr/local/sbin/setkeyは存在せず、/sbin/setkeyが存在する。
この状態で、家庭内LANからiPhoneでL2TPでのVPN接続は成功する。
で、外からつなごうと思ってRT-S300SEの設定でUDP/500とUDP/4500をFreeBSDに飛ばすようにしたが、接続に成功しない。
racoonのログを見ていると、iPhoneからサーバのポート500にパケットが届いていて、その後サーバのポート500からiPhoneのポート500にパケットを送っているが、それが届かないか何からしい。パケットフィルタでは特に禁止しているようには見えないのだが。
UDPだけじゃなく、プロトコル番号51, 50(ESP)をフォワードしてあげないといけないらしいのだが、RT-S300SEの設定にはそう言う選択肢がない。
PPTPもGRE(プロトコル番号47)を通さないといけないらしいのだが、成功しているが不思議。

と言うわけで、当面はPPTPで行くしかなさそう。(iSSHのVNCがsshトンネルで安定して動けばPPTPもいらないんだけど)