版權(quán)聲明：

本文內(nèi)容由阿里云實(shí)名注冊(cè)用戶自發(fā)貢獻(xiàn)，版權(quán)歸原作者所有，阿里云開(kāi)發(fā)者社區(qū)不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。具體規(guī)則請(qǐng)查看《 阿里云開(kāi)發(fā)者社區(qū)用戶服務(wù)協(xié)議》和 《阿里云開(kāi)發(fā)者社區(qū)知識(shí)產(chǎn)權(quán)保護(hù)指引》。如果您發(fā)現(xiàn)本社區(qū)中有涉嫌抄襲的內(nèi)容，填寫(xiě) 侵權(quán)投訴表單進(jìn)行舉報(bào)，一經(jīng)查實(shí)，本社區(qū)將立刻刪除涉嫌侵權(quán)內(nèi)容。

一直以來(lái)，橫亙?cè)跍p肥塑身的志士仁人面前的除了堅(jiān)定的意志還有一道很難逾越的坎：每天的攝入熱量怎么算？

對(duì)于統(tǒng)計(jì)每天步數(shù)和大致熱量消耗的設(shè)備，我們有手環(huán)、watch、手機(jī)；但每天的熱量攝入，怎么計(jì)算呢？ 每次就餐帶上紙、筆、記算器，不太現(xiàn)實(shí)。用熱量計(jì)算app，需要手動(dòng)輸入每樣食品吃了多少克，沒(méi)有廚房稱的幫助下，對(duì)大多數(shù)人來(lái)說(shuō)，要感知50g和75g的區(qū)別比較困難。

當(dāng)AI作為一個(gè)形容詞，幾乎可以應(yīng)用在任何領(lǐng)域的時(shí)候，減肥這個(gè)領(lǐng)域，似乎還沒(méi)有被充分開(kāi)墾。

iDST數(shù)據(jù)實(shí)驗(yàn)室的算法同學(xué)，正致力于做一個(gè)小小的改變：

幫助用戶，通過(guò)拍一張照片，識(shí)別照片里包含的食材和對(duì)應(yīng)的營(yíng)養(yǎng)成份；通過(guò)選擇對(duì)應(yīng)的份量，還可以算出大致熱量。

到目前為止，已實(shí)現(xiàn)對(duì)大部分常見(jiàn)的食物：中餐各式菜肴、面點(diǎn)、水果、飲料的識(shí)別，覆蓋了幾千種南北食材。目前，該模型已經(jīng)上線內(nèi)測(cè)，我們也會(huì)努力嘗試成為減肥界的一股清流。

ps，如果正在減肥的同學(xué)想搶先上手嘗試，請(qǐng)直接拉到頁(yè)面底部試用~

讓手機(jī)鏡頭，識(shí)別面前的每一種食物，輸出它們的營(yíng)養(yǎng)、熱量和做法，我們是怎么做的？

一、數(shù)據(jù)收集和處理：

首先是大量的數(shù)據(jù)收集和知識(shí)庫(kù)的建設(shè)。
我們通過(guò)各類網(wǎng)站：搜索引擎、點(diǎn)評(píng)和外賣(mài)、淘寶商品和用戶評(píng)價(jià)、獲取了幾千萬(wàn)張食物相關(guān)的圖片。
根據(jù)解析到的實(shí)體標(biāo)簽以及映射到后臺(tái)的知識(shí)庫(kù)，把所有的圖片分成對(duì)應(yīng)為后臺(tái)食材的3000個(gè)左右的葉子類。從實(shí)拍集和訓(xùn)練效果的角度，保證每一個(gè)葉子類有至少2000張以上的訓(xùn)練數(shù)據(jù)。

食材識(shí)別的難點(diǎn)在哪里？

與通常的圖像分類算法相比，通過(guò)拍照識(shí)別食材并估算熱量是一個(gè)異常艱巨的任務(wù)。因?yàn)榕胝{(diào)食品是一個(gè)復(fù)雜且漫長(zhǎng)的過(guò)程，期間各種食材會(huì)經(jīng)歷多種物理和化學(xué)甚至生物變化。

例如，刀工會(huì)使得食材發(fā)生物理變化。即使是標(biāo)準(zhǔn)的刀工，也會(huì)將原先的食材加工為片、丁、絲、條、茸、段、麥穗型、梳子型、菊花形、米狀、末等完全不同的形狀。即便是同樣的片狀，還會(huì)細(xì)分為指甲片、柳葉片、月牙片、骨牌片、象眼片、馬牙片、秋葉片等不同的模樣。形狀的多變無(wú)疑增加了識(shí)別的難度。

烹飪中的化學(xué)反應(yīng)進(jìn)一步增加了識(shí)別的難度。例如，隨著烹飪過(guò)程中化學(xué)反應(yīng)的發(fā)生，食材的顏色通常會(huì)發(fā)生變化，有些食材的顏色會(huì)與烹飪之前有很大的反差。

有些食材例如蛋白質(zhì)會(huì)從液態(tài)變?yōu)楣虘B(tài)，有些水溶性的食材會(huì)從固態(tài)變?yōu)橐簯B(tài)。涉及到發(fā)酵等生物反應(yīng)的烹飪過(guò)程時(shí)，食材會(huì)進(jìn)一步變的面目全非。

在實(shí)際的識(shí)別過(guò)程中，有些食材只露出小小的一角，而有些菜，如水煮魚(yú)，看到的是上面的魚(yú)片，用戶會(huì)希望模型還有對(duì)應(yīng)的知識(shí)，即魚(yú)片的下面，其實(shí)鋪滿了豆芽。

由此，食材的識(shí)別和通常的圖片識(shí)別和分類算法相比，有更多的困難。

我們的方法

針對(duì)食材識(shí)別的問(wèn)題，我們的方法是：使用深度學(xué)習(xí)的方法，將黑盒的神經(jīng)網(wǎng)絡(luò)與白盒的烹飪領(lǐng)域知識(shí)結(jié)合起來(lái)，同時(shí)確保訓(xùn)練數(shù)據(jù)的數(shù)量和質(zhì)量。

我們綜合評(píng)估了：GoogleNet, AlexNet, VGG, GoogleNet+BatchNorm 以及Caffe和TensorFlow，從Top5 ACC (輸出的前5個(gè)結(jié)果的準(zhǔn)確率)的角度，上述框架沒(méi)有存在顯著的差異性。目前我們采用的是Caffe以及GoogleNet 和 ImageNet，更多的是從工程的可伸縮性，支持并發(fā)部署的角度來(lái)考慮的。

?

三、挑戰(zhàn)和業(yè)界評(píng)測(cè)：

在飲食領(lǐng)域的圖像識(shí)別和分類上面，業(yè)內(nèi)一直有關(guān)注和研究，比如下面的paper：

Deep Learning Based Food Recognition 
DeepFood: Deep Learning-based Food Image Recognition for Computer-aided Dietary Assessment 
ChineseFoodNet: A large-scale Image Dataset for Chinese Food Recognition 
NutriNet: A Deep Learning Food and Drink Image Recognition System for Dietary Assessment
ChinFood1000: A Large Benchmark Dataset for Chinese Food Recognition
Learning Cross-modal Embeddings for Cooking Recipes and Food Images

對(duì)上述paper中的方法進(jìn)行比較，基本上是 基于AlexNet，Vgg，Gnet，ResNet，今年CVPR的DenseNet做修改，細(xì)節(jié)有差異。

從數(shù)據(jù)集和分類目標(biāo)兩個(gè)層面，在啟動(dòng)之初，我們就站在比目前業(yè)界更高的起點(diǎn)上。?

上面是幾個(gè)用于做公開(kāi)測(cè)評(píng)的通用數(shù)據(jù)集的數(shù)據(jù)情況，我們可以看到上述通用測(cè)試集的分類較少，每一個(gè)分類的樣本數(shù)量相對(duì)均勻。從千萬(wàn)級(jí)的數(shù)據(jù)規(guī)模和過(guò)千的分類數(shù)量上看， 我們的數(shù)據(jù)規(guī)模是比較龐大的。

從分類目標(biāo)上，我們首先識(shí)別食材(而非菜名)，進(jìn)而解析出營(yíng)養(yǎng)成分和熱量，從場(chǎng)景上能夠較完整地反映用戶健康和飲食習(xí)慣。從食材的數(shù)量和烹飪方式上看，中餐的識(shí)別相較于西餐要困難，識(shí)別食材又比菜名更困難。

數(shù)據(jù)集名稱

分類數(shù)量

數(shù)據(jù)集大小

準(zhǔn)確率

備注

Food-101

101

101,000

88.28%

基于GoogleNet

UEC FOOD 100

100

9,060

81.45%

日餐為主

UEC FOOD 256

256

31,397

76.17%

基于GoogleNet

UNIMIB 2016

65

3616

86.39%

基于AlexNet

Paper作者自有集

520

220,000

86.72%

Paper作者實(shí)拍集

520

200

55%

從目前結(jié)果上看，我們的效果遠(yuǎn)遠(yuǎn)領(lǐng)先于MIT的CSAIL和業(yè)內(nèi)在食物(中餐)上識(shí)別能力。

對(duì)大家日常飲食有什么用？ 

當(dāng)食物的營(yíng)養(yǎng)和熱量識(shí)別，簡(jiǎn)化成只需要輕點(diǎn)拍攝這一步之后，我們可以幫助用戶記錄日常的飲食攝入。

有了日常記錄以后，可以從膳食結(jié)構(gòu)角度，幫助用戶分析攝入的營(yíng)養(yǎng)和食材的均衡情況，基于中國(guó)居民膳食指南，同時(shí)參考美國(guó)、日本等居民膳食指南，給出飲食建議。這就是營(yíng)養(yǎng)師口中的“營(yíng)養(yǎng)干預(yù)”，幫助減肥、增脂、增肌都是這個(gè)范疇。

You are what you eat，人的健康除了先天、環(huán)境因素之外，最大的影響因子就是飲食習(xí)慣。

從模型訓(xùn)練和算法的角度，當(dāng)學(xué)會(huì)識(shí)別食材以后，后續(xù)將學(xué)會(huì)識(shí)別菜譜名稱，從而告訴你做法，以及，從千萬(wàn)個(gè)淘寶和天貓商品中，根據(jù)菜譜為你選出：主料、輔料、佐料。

從此以后，正確的美食打開(kāi)方式應(yīng)該是：

輸入菜肴名稱，看完菜譜做法以后，根據(jù)算法為你準(zhǔn)備好的：主料、輔料、佐料，輕觸點(diǎn)擊，一鍵加入購(gòu)物車。等著食材送上門(mén)以后一顯身手吧。

切換成線下，到菜市場(chǎng)買(mǎi)菜也沒(méi)問(wèn)題，打開(kāi)手機(jī)，拍一拍面前的生鮮食材，它叫什么，營(yíng)養(yǎng)元素和熱量，有哪些做法，可以搭配哪些食材一起烹飪，即時(shí)為你呈現(xiàn)。

作為iDST圖像識(shí)別能力的輸出，拍美食是“萬(wàn)物識(shí)別”項(xiàng)目的一部分，目標(biāo)是致力于讓AI使我們的生活越來(lái)越美好。如果希望體驗(yàn)上述技術(shù)，快捷傳送門(mén)：

親問(wèn)app二維碼

相關(guān)知識(shí)

【拍孕婦照】孕婦寫(xiě)真
【育兒知識(shí)】拍出高質(zhì)量孕婦照有五個(gè)訣竅
給眼睛拍張照就能測(cè)全身健康，鷹瞳科技要當(dāng)“醫(yī)療AI第一股”
【孕婦照】大肚照，孕婦拍照技巧和注意事項(xiàng)
【孕婦能拍照嗎】孕婦可以拍照嗎
孕婦在懷孕期間拍照的禁忌
「健康」如何辨別黑科技熱能芯片減肥腰帶真假？
黑芝麻糊的熱量？多吃黑芝麻糊能減肥嗎？
巧克力寶貝時(shí)尚拍攝技巧，孕婦照怎么照才好看！
熱量減肥法

網(wǎng)址: 無(wú)痛減肥黑科技：拍照識(shí)熱量 http://www.u1s5d6.cn/newsview613455.html