walk by는 지나치다, 걸어가다 라는 의미가 있으므로 동사로 쓰인 거 같에요.
그리고 with + 목적어 + 분사구문은 주로 문장 맨 뒤에 쓰이지만, 문장 앞에도 쓰일 수 있습니다.
예) 문장 뒤에 쓰인 경우
He was standing by the door with his arms folded.
(팔짱을 낀 채로 그는 문 옆에 서 있었다)
예2) 문장의 앞에 쓰인 경우
With night coming on, we left for homes.
(밤이 다가와서 우리는 집으로 갔다.)