Чтобы наблюдалось полное внутренне отражение, надо чтобы после преломления луч скользил по поверхности масла
n*sina = n2*sin90 n2=1 показатель преломления воздуха
sina = 1/n =1/1,52=0,86 a=60 градусов( по таблице)
если сделать рисунок и провести луч от источника к краюю стакана где поверхность масла касается стенки стакана то видно, что
R/h = tga
h = R/tg60=10см/1,732=5,77 см - ответ