计算如下的行列式：
\[\begin{vmatrix} \cos x&\cos 2x&\cdots&\cos nx\\ \cos nx&\cos x&\cdots&\cos (n-1)x\\ \vdots&\vdots&\ddots&\vdots\\ \cos 2x&\cos 3x&\cdots&\cos x \end{vmatrix}\]我的解法
cosine的DFT
众所周知，对于第一行是$a_0\dots a_{n-1}$的循环矩阵，行列式为$\prod\limits_{k=0}^{n-1}\sum\limits_{j=0}^{n-1}a_j\omega_{n}^{kj}$，于是答案是$\prod\limits_{k=0}^{n-1}\sum\limits_{j=1}^{n}\cos(jx)\omega_{n}^{k(j-1)}$。考虑如何计算$\sum\limits_{j=1}^{n}\cos(jx)\omega_{n}^{k(j-1)}$（即$\cos$的离散傅里叶变换），可以依葫芦画瓢，把$\cos(x)$拆成$\dfrac{e^{ix}+e^{-ix}}{2}$，然后等比数列求和：
\[\begin{aligned} \sum\limits_{j=1}^{n}\cos(jx)\omega_{n}^{k(j-1)}&=\sum\limits_{j=1}^{n}\frac{e^{ijx}+e^{-ijx}}{2}e^{\frac{k(j-1)}{n}2\pi i}\\ &=\dots\\ &=\frac{e^{ix}(1-e^{nix})}{2-2e^{ix+\frac{k}{n}2\pi i}}+\frac{e^{-ix}(1-e^{-nix})}{2-2e^{-ix+\frac{k}{n}2\pi i}}\\ &=\dots\\ &=\frac{\cos x-\omega_n^{k}-\cos(n+1)x+\cos(nx)\omega_n^{k}}{1-2\omega_n^{k}\cos x+\omega_n^{2k}}\\ \end{aligned}\]（省略了一些有手就行的化简）（才不是我看不懂自己的草稿呢）
然后只需要分别考虑分子的乘积和分母的乘积就行了。我的思路是逆用循环矩阵行列式的公式，把求乘积变回求行列式。
分子的乘积
别看分子这么长，实际上这是个纸老虎，比分母简单得多。记$a=\cos x-\cos(n+1)x$，$b=\cos(nx)-1$，有$\cos x-\omega_n^{k}-\cos(n+1)x+\cos(nx)\omega_n^{k}=a+b\omega_n^{k}$，因此
\[\prod_{k=0}^{n-1}(a+b\omega_n^{k})=\begin{vmatrix} a&b&0&\cdots&0\\ 0&a&b&\cdots&0\\ \vdots&\vdots&\vdots&\ddots&\vdots\\ b&0&0&\cdots&a \end{vmatrix}=(-1)^{1+n}b^{n}+a^{n}\]（沿最后一行展开）
代入$a,b$，分子的表达式就是$(\cos x-\cos((n+1)x))^n - (1-\cos(nx))^n$。
分母的乘积
我很可能是做烦了$\dots$下面是我的做法。为方便记$c=\cos x$。
设
\[A_n=\begin{vmatrix}-2c&1&0&\cdots&0&0\\ 1&-2c&1&\cdots&0&0\\ 0&1&-2c&\cdots&0&0\\ \vdots&\vdots&\vdots&\ddots&\vdots&\vdots\\ 0&0&0&\dots&1&-2c\end{vmatrix}\]则
\[\begin{aligned} \prod_{k=0}^{n-1}(1-2cw_n^{k}+w_n^{2k})&=\begin{vmatrix} 1&-2c&1&0&\dots&0&0&0\\ 0&1&-2c&1&\dots&0&0&0\\ \vdots&\vdots&\vdots&\vdots&\ddots&\vdots&\vdots&\vdots\\ 0&0&0&0&\cdots&1&-2c&1\\ 1&0&0&0&\cdots&0&1&-2c\\ -2c&1&0&0&\dots&0&0&1 \end{vmatrix}\\ &=-2c(-1)^{1+n}A_{n-1}+(-1)^{n}\begin{vmatrix} 1&1&0&\dots&0&0&0\\ 0&-2c&1&\dots&0&0&0\\ \vdots&\vdots&\vdots&\ddots&\vdots&\vdots&\vdots\\ 0&0&0&\cdots&1&-2c&1\\ 1&0&0&\cdots&0&1&-2c\\ \end{vmatrix}+\\ &\quad\begin{vmatrix} 1&-2c&1&0&\dots&0&0\\ 0&1&-2c&1&\dots&0&0\\ \vdots&\vdots&\vdots&\vdots&\ddots&\vdots&\vdots\\ 0&0&0&0&\cdots&1&-2c\\ 1&0&0&0&\cdots&0&1\\ \end{vmatrix}\\ &=2c(-1)^{n}A_{n-1}+(-1)^{n}((-1)^{n-1+1}+A_{n-2})+(1+(-1)^{n-1+1}A_{n-2})\\ &=2(1+(-1)^{n}A_{n-2}+c(-1)^{n}A_{n-1}) \end{aligned}\]（分别是沿最后一行、第一列和最后一行的展开）
所以只需要算$A_n$即可。沿第一行展开$A_n$，再沿第一列展开$M_{12}$，容易得到
\[A_0=1,A_1=-2c,A_n=-A_{n-2}-2c A_{n-1},\forall n>1\]这是个线性递推。硬推通项得
\[A_n=C_0(-c-\sqrt{c^2-1})^{n}+C_1(-c+\sqrt{c^2-1})^{n}\]把$c=\cos x$带进去，有$A_n=(-1)^n(C_0e^{inx}+C_1e^{-inx})$；代入$A_0,A_1$，得
\[\begin{aligned} A_n&=(-1)^n\left(\frac{1-i\cot x}{2}e^{inx}+\frac{1+i\cot x}{2}e^{-inx}\right)\\ &=(-1)^n\left(\cos nx+\cot x\left(\frac{-i}{2}e^{inx}+\frac{i}{2}e^{-inx}\right)\right)\\ &=(-1)^n(\cos nx+\cot x\sin nx) \end{aligned}\]再带回答案里，得
\[\begin{aligned} \prod_{k=0}^{n-1}(1-2cw_n^{k}+w_n^{2k})&=2(1+(-1)^{n}A_{n-2}+c(-1)^{n}A_{n-1})\\ &=2(1+\cos (n-2)x+\cot x\sin (n-2) x-\cos x (\cos (n-1)x+\cot x\sin (n-1)x))\\ &=2(1+\csc x(\sin x\cos (n-2)x+\cos x\sin (n-2) x)-\\ &\quad\cot x (\sin x\cos (n-1)x+\cos x\sin (n-1)x))\\ &=2(1+\csc x(\sin(n-1)x-\cos x \sin nx))\\ &=2(1+\csc x(-\cos nx \sin x))\\ &=2(1-\cos nx) \end{aligned}\]（倒数第二个等号是因为$\sin(nx-x)$差角公式）
最终答案
\[\begin{vmatrix} \cos x&\cos 2x&\cdots&\cos nx\\ \cos nx&\cos x&\cdots&\cos (n-1)x\\ \vdots&\vdots&\ddots&\vdots\\ \cos 2x&\cos 3x&\cdots&\cos x \end{vmatrix}=\frac{(\cos x-\cos (n+1)x)^n - (1-\cos nx)^n}{2(1-\cos nx)}\]看到这么复杂的答案，相信很多人都会问“可以化简吗”，我也想过这个问题。
显然这个行列式应该是$c=\cos x$的多项式，然而右边只是个有理式。既然$\dfrac{(1-\cos nx)^n}{2(1-\cos nx)}$是多项式，$\dfrac{(\cos x-\cos (n+1)x)^n}{1-\cos nx}$自然也必须是多项式。这就启发我，$1-\cos nx$是不是$\cos x-\cos (n+1)x$的因式呢？很遗憾，答案是否定的，可以举$n=3$作为反例。其实这背后的道理和“$a^n\equiv 0 \pmod{b}$则$a\equiv 0 \pmod{b}$”成立的条件是一样的：$b$必须没有平方因子。然而$\cos nx=1$这个方程居然是有重根的！稍微推理一下：
\[\cos nx =1\Rightarrow \sin nx=0 \Rightarrow e^{inx}=1 \Rightarrow e^{ix}=\omega_n^{k}\Rightarrow\cos x=\Re{(\omega_n^{k})}\]显然不同的单位根可以有相同的实部，所以是有重根的。我们化简的梦想破灭了。
