每天成千上萬新的API或加密密鑰通過GitHub項(xiàng)目泄露出去。

六個(gè)月期間掃描GitHub公共代碼庫總數(shù)中13%的數(shù)十億個(gè)文件后發(fā)現(xiàn)，超過100000個(gè)代碼庫泄露了API令牌和加密密鑰，每天數(shù)千個(gè)新的代碼庫在泄露新的秘密內(nèi)容。

這次掃描是北卡羅來納州立大學(xué)（NCSU）的團(tuán)隊(duì)開展的一項(xiàng)學(xué)術(shù)研究的課題，研究結(jié)果已交給GitHub，GitHub看到調(diào)查結(jié)果后采取了行動(dòng)，加快開發(fā)一項(xiàng)名為令牌掃描（Token Scanning）的新安全功能，目前該功能處于測試階段。

研究人員掃描了數(shù)十億個(gè)GitHub文件

NCSU的這項(xiàng)研究是迄今為止對(duì)GitHub最全面和最深入的掃描，超過之前的任何同類研究。

2017年10月31日至2018年4月20日，NCSU的研究人員掃描了多個(gè)GitHub帳戶，掃描時(shí)間持續(xù)近六個(gè)月，尋找API令牌和加密密鑰等格式的文本字符串。

他們不僅使用GitHub Search API來尋找這些文本模式，就像之前的其他研究工作一樣，還查看了谷歌的BigQuery數(shù)據(jù)庫中記錄的GitHub代碼庫快照。

在這六個(gè)月期間，研究人員分析了無數(shù)GitHub代碼庫當(dāng)中的數(shù)十億個(gè)文件。

在上個(gè)月發(fā)表的一篇研究論文中，NCSU的三人團(tuán)隊(duì)表示，他們使用GitHub Search API獲取并分析了代表681784個(gè)代碼庫的4394476個(gè)文件，以及代表谷歌的BigQuery數(shù)據(jù)庫中記錄的3374973個(gè)代碼庫的另外2312763353個(gè)文件。

NCSU團(tuán)隊(duì)掃描了11家公司的API令牌

研究人員在這龐大的文件堆中尋找采用特定的API令牌或加密密鑰格式的文本字符串。

由于并非所有的API令牌和加密密鑰都采用同樣的格式，因此NCSU團(tuán)隊(duì)決定使用15種API令牌格式（來自屬于11家公司的15項(xiàng)服務(wù)，其中5家來自Alexa Top 50）和4種加密密鑰格式。

這包括谷歌、亞馬遜、Twitter、Facebook、Mailchimp、MailGun、Stripe、Twilio、Square、Braintree和Picatic使用的API密鑰格式。

許多流行API的密鑰有著獨(dú)特的結(jié)構(gòu)，一旦泄密，將導(dǎo)致安全風(fēng)險(xiǎn)。

結(jié)果立馬出來了，研究項(xiàng)目發(fā)現(xiàn)每天數(shù)千個(gè)API和加密密鑰泄露出去。

總的來說，NCSU團(tuán)隊(duì)表示他們發(fā)現(xiàn)了575456個(gè)API和加密密鑰，其中201642個(gè)具有獨(dú)特性，它們都散布于100000多個(gè)GitHub項(xiàng)目中。

合并數(shù)據(jù)集中的秘密內(nèi)容絕大多數(shù)被單一所有者使用。

研究團(tuán)隊(duì)在學(xué)術(shù)論文中披露，使用谷歌Search API找到的“秘密內(nèi)容”和通過谷歌BigQuery數(shù)據(jù)集發(fā)現(xiàn)的“秘密內(nèi)容”也很少有重疊。

研究人員說：“合并兩個(gè)數(shù)據(jù)集后，我們確定這兩個(gè)數(shù)據(jù)集中出現(xiàn)了7044個(gè)秘密內(nèi)容，占總數(shù)的3.49%。這表明我們的方法在很大程度上是互補(bǔ)的?！?/p>

此外，大多數(shù)API令牌和加密密鑰（93.58%）來自單一所有者帳戶，而不是多個(gè)所有者代碼庫。

這意味著NCSU團(tuán)隊(duì)發(fā)現(xiàn)的絕大多數(shù)API和加密密鑰很可能是實(shí)際環(huán)境中使用的有效令牌和密鑰，因?yàn)槎鄠€(gè)所有者的帳戶通常往往包含用于共享測試環(huán)境和開發(fā)階段代碼的測試令牌。

泄露的API和加密密鑰停留數(shù)周

由于研究項(xiàng)目是在六個(gè)月的期間內(nèi)進(jìn)行，研究人員還有機(jī)會(huì)觀察帳戶所有者是否以及何時(shí)認(rèn)識(shí)到自己泄露了API和加密密鑰，并從代碼中刪除敏感數(shù)據(jù)。

該團(tuán)隊(duì)表示，他們跟蹤的API和加密密鑰中有6%在泄露后一小時(shí)內(nèi)被刪除，這表明這些GitHub所有者立馬意識(shí)到了所犯的錯(cuò)誤。

超過12%的密鑰和令牌一天后消失，而19%的密鑰和令牌最多停留了16天。

研究人員說：“這也意味著我們發(fā)現(xiàn)的秘密內(nèi)容中81%沒有被刪除。這81%秘密內(nèi)容的開發(fā)人員很可能不知道秘密內(nèi)容被泄露，或者低估了泄露的風(fēng)險(xiǎn)?！?/p>

短期和長期監(jiān)測秘密內(nèi)容

研究團(tuán)隊(duì)發(fā)現(xiàn)了一些重大泄露

研究人員開始研究其中一些內(nèi)容是從何處泄露時(shí)，這種掃描的重要性顯露出來。

NCSU團(tuán)隊(duì)說：“有一次，我們發(fā)現(xiàn)了我們認(rèn)為是美國數(shù)百萬大學(xué)申請(qǐng)者所依賴的一大網(wǎng)站的AWS登錄信息，可能是由承包商泄露的。”

“我們還找到了一個(gè)西歐國家的主要政府機(jī)構(gòu)的網(wǎng)站的AWS登錄信息。在這種情況下，我們能夠證實(shí)該帳戶的有效性，甚至證實(shí)提交秘密內(nèi)容的特定開發(fā)商。該開發(fā)商在網(wǎng)上聲稱擁有近10年的開發(fā)經(jīng)驗(yàn)。”

在另一個(gè)案例中，研究人員還發(fā)現(xiàn)了564個(gè)谷歌API密鑰，這些密鑰被一家在線網(wǎng)站用來規(guī)避YouTube的速率限制，并下載以后托管在另一個(gè)視頻共享門戶網(wǎng)站上的YouTube視頻。

NCSU的研究人員說：“由于密鑰數(shù)量非常多，我們懷疑（但無法確認(rèn)）這些密鑰可能是以欺詐手段獲得的?！?/p>

最后但并非最不重要的是，研究人員還在OpenVPN配置文件中發(fā)現(xiàn)了7280個(gè)RSA密鑰。研究人員發(fā)現(xiàn)，通過分析這些配置文件中的其他設(shè)置，絕大多數(shù)用戶禁用了密碼身份驗(yàn)證，完全依賴RSA密鑰進(jìn)行身份驗(yàn)證，這意味著凡是發(fā)現(xiàn)這些密鑰的人都可以訪問成千上萬的私密網(wǎng)絡(luò)。

研究人員使用其他API令牌掃描工具分析他們自己的數(shù)據(jù)集以確定掃描系統(tǒng)的效率時(shí)，掃描結(jié)果的高質(zhì)量也顯露無遺。

研究團(tuán)隊(duì)說：“我們的研究結(jié)果表明，TruffleHog在檢測機(jī)密內(nèi)容基本上無效，因?yàn)樗乃惴ㄖ粰z測到我們的Search數(shù)據(jù)集中25.236%的秘密內(nèi)容和BigQuery數(shù)據(jù)集中29.39%的秘密內(nèi)容。”

GitHub獲悉后忙于補(bǔ)救

北卡羅來納州立大學(xué)計(jì)算機(jī)科學(xué)系助理教授Brad Reaves今天接受ZDNet的采訪時(shí)表示，他們?cè)?018年將這項(xiàng)研究的結(jié)果告知了GitHub。

Reaves說：“我們與GitHub討論了結(jié)果。對(duì)方啟動(dòng)了一個(gè)內(nèi)部項(xiàng)目，幾乎就在我們完成研究的同時(shí)，檢測并告知開發(fā)人員泄露的秘密內(nèi)容。該項(xiàng)目于2018年10月公開承認(rèn)?！?/p>

“我們被告知GitHub在監(jiān)測研究文檔中列出的秘密內(nèi)容之外的更多秘密內(nèi)容，但我們沒有獲得進(jìn)一步的細(xì)節(jié)?！?/p>

Reaves補(bǔ)充道：“由于這種類型的泄露很普遍，我們很難通知所有受影響的開發(fā)人員。我們面臨的諸多挑戰(zhàn)之一就是，我們根本無法獲得大批GitHub開發(fā)人員的安全聯(lián)系信息?！?/p>

“在我們的論文發(fā)表時(shí)，我們?cè)噲D與GitHub合作以通知開發(fā)人員，但考慮到我們的令牌掃描與GitHub的有重疊，他們覺得沒必要另外通知?！?/p>

API密鑰泄露是已知問題

開發(fā)人員在眾多應(yīng)用程序和網(wǎng)站的源代碼中留下API和加密密鑰，這不是什么新問題。亞馬遜已敦促互聯(lián)網(wǎng)開發(fā)人員掃描代碼，從早至2014年的公共代碼庫中刪除任何AWS密鑰，甚至發(fā)布了一個(gè)工具來幫助他們向公共代碼庫提交任何代碼之前掃描代碼庫。

一些公司已主動(dòng)負(fù)起責(zé)任，掃描GitHub及其他代碼共享庫，查找無意中泄露的API密鑰，搶在API密鑰所有者注意到泄露或?yàn)E用之前撤銷令牌。

NCSU開展這項(xiàng)研究是為了最深入地研究這個(gè)問題。

Reaves稱：“研究結(jié)果表明，開源軟件代碼庫中的登錄信息管理對(duì)于新手和專家來說仍然具有挑戰(zhàn)性。”

作者微信公眾號(hào)：云頭條