[hrt]

做了一下：
>> a=sym('n!/(n-m)!/m!*m/n*R^(m)*(1-R)^(n-m)'); %将括号中的表达式转化为符号表达式。
>> syms m n R; % 定义符号变量
>> symsum(a,m,0,n-1) %求和，将m作为变量，变量从0变化到n-1

结果如下：
ans =

R-R^n

~ ~

matlab中也有求组合数的函数：nchoosek，但需要输入具体的数值，不能接受符号变量
详细的内容，你可以利用matlab的help命令查看~ ~