대한수학회 홈페이지에 올라온 풀이는 A에 대한 linear operator와 수학적 귀납법을 이용하였는데, 솔직히 잘 이해가 가지 않아서 다른 풀이 방법이 없을까 열심히 구글링을 해보니 Jordan form을 이용하여 풀 수 있을 것 같았다. (Jordan form에 대하여 자세히 공부하지 않은 수학 비전공자가 정리한 내용이라 틀린 부분이 있을 수 있습니다.)
A가 nilpotent matrix이므로, A의 Jordan form은
이다.
한편, nilpotent matrix는 모든 eigenvalue가 0이므로 A의 eigenvector 집합은 null space이다.
또, 어떤 eigenvalue에 대한 Jordan block의 수는 그 eigenvalue의 geometric multiplicity이다.
따라서, nilpotent matrix에서
nullity = eigenvalue 0의 geometric multiplicity = Jordan block의 수
rank(A)의 upper bound에 대하여 증명하는 문제이므로 nullity의 lower bound를 구하면 된다.
다시 말해, Jordan block의 최소 개수를 구하면 된다.
예를 들어, 10*10 크기의 행렬 A가 A^3=0이라면
3*3 크기의 Jordan block이 3개, 1*1 크기의 Jordan block이 1개로 최소 4개의 Jordan block이 필요하다.
이를 일반화하면 Jordan block의 최소 개수는
[n/m]+1 ([]는 가우스 기호)
따라서 nullity(A)≥[n/m]+1
nullity(A)+rank(A)=n이므로
n-rank(A)≥[n/m]+1
rank(A)≤n-[n/m]-1≤n-n/m={(m-1)n}/m (주어진 부등식 증명)