По какой стороне? По другой.
Слово "другой" - прилагательное. Т.к. относится к сущ., которое в женском роде, то тоже женского рода.
По чему? - по стороне, Дательный падеж. Падежи сущ. и прил. совпадают.
Слово "другой" зависимо от слова "стороне", "стороне" - главное слово.
Число совпадает с сущ., единственное число.