ニューヨーク市にて、名士として尊敬される実業家エイブラハム・ロススタインの息子として生まれる。少年時代は
数学が得意だった。
ラビを目指して勉強していた真面目な兄と違い、早い時期から非合法な商売に関心を持ち、
1910年までにはニューヨークのテンダーロイン地区に移り、ここで重要な
カジノを設立、
禁酒法時代は多数のモグリ酒場を買収。彼はまた、
メリーランドの
競馬場に出資して、多くの八百長レースを仕組んで大儲けしたといわれる。ロススタインは全国に情報提供者のネットワークを置いて熱心に情報を収集し、どれほどいかがわしいソースから出た話であろうと、よい情報には報酬を惜しまなかった。こうして彼は30歳までには億万長者となった。
この一件が問題になって
大陪審調査団から召喚されると、自分は何ら疚しいところのない実業家で必ず汚名をそそぐつもりだと彼は宣言した。そして、この八百長事件と彼を結びつける証拠は何もなかったので、彼は不起訴となった。「八百長を仕組んだのは
エイブ・アッテルの一派さ。奴らはワールドシリーズで大儲けしようと企んだんだ。俺にも一口乗らないかと誘いがあったが、すぐに断った。俺のダチはみんな知っていることだ。エイブの野郎が俺の名前を勝手に騙りやがったに違いねえ。しかし俺はそんな話にゃ乗らなかった、だから奴らのイカサマを見抜いた後はワールドシリーズには一セントも送ってねえよ」とロススタインは語った。大陪審はこの言葉を信じたが、真相はこれよりも遥かに複雑だったし、ロススタインはこれより遥かに悪党だった。エイブ・アッテルからの誘いを撥ねつけたのは事実だったが、実はその前にジョーゼフ・"スポート"・サリヴァンというギャンブラーから同じ誘いを受けていたのである。ロススタインはアッテルの誘いを断った後でサリヴァンの話を考え直し、結局八百長に乗った。
禁酒法の時代が到来すると、ロススタインは新しく密造酒と
麻薬を売り始め、
ラッキー・ルチアーノ、
マイアー・ランスキー、
レッグズ・ダイアモンド、
ダッチ・シュルツといったギャング界の大物を支配下に置いた。キャリアの少ない若手ギャングの資金援助をしたりした。ルチアーノも駆け出しの頃、彼に面倒を見てもらっていた。Mr. Big, The Fixer, The Man Uptown, The Big Bankroll, The Brainといった渾名で呼ばれた。そして、ニューヨークのギャングの抗争を調停し、しばしば高額の調停料を課したと伝えられる。彼のお気に入りの「事務所」は
ブロードウェイと49番街の角にある"リンディズ・レストラン"で、用心棒を従えて街角に立ち、街頭で商売をおこなった。賭博を開き、ギャンブルの掛け金の取り分を前日のカモから取り立てた。