例題はこちら（画像をクリックするとPDFファイルで開きます。）
何やらありそうな設定ですが、問題を解くだけであれば基本に忠実に解いていけば無理はありません。
まずは普通に解いてみて、本問の設定について検証してみるという構成で考えてみたいと思います。
（以下ネタバレ注意）
+ クリック（タップ）して続きを読む
(1) について
もちろん目指すのは
\overrightarrow{ OA } \cdot \overrightarrow{ OB }=0
ということです。
内積を登場させるために
|☆\overrightarrow{ OA }+★\overrightarrow{ OB }|^{2}
という形で２乗計算することで内積を登場させるのが常套手段です。
（２乗計算するとうまくいく理由は背後には余弦定理があります。）
(2) について
基本
「１つの始点、２つの基底（主役ベクトル）」
というベクトルの基本哲学にしたがって
- \overrightarrow{ CA }=\overrightarrow{ OA }-\overrightarrow{ OC }
=(1+\cos{\theta})\overrightarrow{ OA }+(\sin{\theta})\overrightarrow{ OB }
- \overrightarrow{ CB }=\overrightarrow{ OB }-\overrightarrow{ OC }
=(\cos{\theta})\overrightarrow{ OA }+(1+\sin{\theta})\overrightarrow{ OB }
と、\overrightarrow{ OA } , \overrightarrow{ OB } で表現します。
(3) について
(2) をクリアーすれば
AB+BC+CA=2+2\cos{\displaystyle\frac{\theta}{2}}+2\cos{(\displaystyle\frac{\pi}{4}-\displaystyle\frac{\theta}{2})}
と、周の長さが \theta で立式できます。
ここからは三角関数の最大に関する問題です。
２カ所で動く \theta を 1 ヵ所に集めるための常套手段である和積公式で仕留めます。
本問の設定
一旦
\overrightarrow{ OP }=(\cos{\theta})\overrightarrow{ OA }+(\sin{\theta})\overrightarrow{ OB }
で与えられる点 P の軌跡について考えてみたいと思います。
その前に
\overrightarrow{ OP }=a\overrightarrow{ OA }+b\overrightarrow{ OB } で与えられる点 P は
\overrightarrow{ OA } , \overrightarrow{ OB } を基準とした斜交座標における (a \ , \ b) である
という見方ができるようにしておきましょう。
そうなってくると、\overrightarrow{ OP }=(\cos{\theta})\overrightarrow{ OA }+(\sin{\theta})\overrightarrow{ OB } で与えられる点 P は
\overrightarrow{ OA } , \overrightarrow{ OB } を基準とした斜交座標における (\cos{\theta} \ , \ \sin{\theta}) である
ということになり、点 P の軌跡は（円も含めた）楕円ということになります。
これと本問がどう絡んでいるかについて、詳しくは【総括】のあとに【検証】という項目を立てて解説しています。
類題について
類題はこちら（画像をクリックするとPDFファイルで開きます。）
例題同様、問題を解くこと自体は基本に忠実に進めていけば問題ありません。
例題で解説したような【検証】的な見方が本問ではどう絡んでいるかについても最後に触れてあります。
最後に
【検証】に目を奪われるかもしれませんが、ひとまずは基本に忠実に問題を解き進めることができるかということを優先的に考えてください。